欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Model-Optimizer實戰(zhàn):量化、剪枝與編譯優(yōu)化加速推理部署

Model-Optimizer實戰(zhàn):量化、剪枝與編譯優(yōu)化加速推理部署 1. 模型優(yōu)化器到底在優(yōu)化什么從一次推理延遲排查說起第一次認(rèn)真審視Model-Optimizer這個詞是在一個推薦系統(tǒng)的線上問題復(fù)盤會上。當(dāng)時模型離線指標(biāo)一切正常AUC 穩(wěn)在 0.78但線上 P99 延遲從 120ms 一路漲到 480ms機器擴容了兩輪也沒壓住。排查到最后發(fā)現(xiàn)問題不在模型結(jié)構(gòu)也不在特征服務(wù)而是推理階段的計算圖里塞滿了冗余算子算子融合沒做量化也沒上顯存帶寬被白白吃掉了一大半。那次之后我才真正意識到Model-Optimizer 不是一個可選項而是模型從實驗室走向生產(chǎn)環(huán)境的必經(jīng)環(huán)節(jié)。所謂 Model-Optimizer直白講就是一套針對模型本身做“瘦身、提速、省資源”的技術(shù)體系。它要解決的問題非常具體模型太大裝不進(jìn)目標(biāo)設(shè)備、推理太慢扛不住并發(fā)、顯存占用太高導(dǎo)致 batch size 上不去、功耗太高讓端側(cè)設(shè)備發(fā)燙降頻。它服務(wù)的對象也很明確——算法工程師、推理部署工程師、以及所有需要把模型真正跑起來的人。不管你是做 CV、NLP、推薦還是語音只要模型要上線優(yōu)化器這一關(guān)就繞不過去。我見過太多團隊把 90% 的精力花在調(diào)模型結(jié)構(gòu)上最后上線時才發(fā)現(xiàn)推理成本高得離譜。一個 7B 參數(shù)的模型FP16 精度下光權(quán)重就要占 14GB 顯存如果再加上 KV Cache 和中間激活值單卡 24GB 都未必跑得動。這時候 Model-Optimizer 的價值就體現(xiàn)出來了通過量化把 FP16 壓到 INT8 甚至 INT4顯存直接砍到原來的四分之一到八分之一通過算子融合把幾十個小算子合并成幾個大算子kernel launch 開銷大幅下降通過剪枝把不重要的權(quán)重去掉計算量跟著降。這些手段組合起來往往能在精度損失不到 1% 的前提下把推理吞吐提升 2 到 4 倍。這篇文章我會從實際工程角度出發(fā)把 Model-Optimizer 涉及的核心技術(shù)點、實操步驟、參數(shù)選擇邏輯、以及我踩過的坑盡可能完整地拆開講清楚。內(nèi)容會覆蓋量化、剪枝、蒸餾、算子融合、圖優(yōu)化、編譯加速這幾大塊每一塊都會給出可復(fù)現(xiàn)的操作路徑和參數(shù)建議。適合已經(jīng)有一定模型訓(xùn)練基礎(chǔ)、正準(zhǔn)備做推理部署的讀者也適合想系統(tǒng)了解模型優(yōu)化全貌的同行參考。2. 模型優(yōu)化的整體設(shè)計思路與方案選型2.1 優(yōu)化的三個核心目標(biāo)延遲、吞吐、內(nèi)存做模型優(yōu)化之前必須先想清楚到底在優(yōu)化什么。很多團隊一上來就說“我要量化”結(jié)果量化完發(fā)現(xiàn)延遲沒降多少反而精度掉了兩個點這就是目標(biāo)沒對齊。Model-Optimizer 的優(yōu)化目標(biāo)其實就三個維度而且這三個維度經(jīng)常互相沖突需要根據(jù)業(yè)務(wù)場景做取舍。延遲Latency指的是單次推理從輸入到輸出花的時間對實時交互類應(yīng)用最關(guān)鍵比如語音助手、自動駕駛感知、在線廣告排序。這類場景對 P99 延遲極其敏感用戶等 200ms 和等 500ms 的體驗完全是兩回事。吞吐Throughput指的是單位時間內(nèi)能處理多少請求對離線批處理、大規(guī)模推薦、內(nèi)容審核這類場景更重要吞吐上去了單次成本才能降下來。內(nèi)存Memory則是前兩者的約束條件顯存不夠batch size 就上不去吞吐自然受限內(nèi)存帶寬不夠延遲也會被拖累。我通常的做法是先畫一張三維權(quán)衡圖把業(yè)務(wù)對這三個指標(biāo)的硬性要求標(biāo)出來。比如在線廣告排序P99 延遲必須小于 150ms那量化和算子融合就是必選項離線視頻審核吞吐優(yōu)先那就可以用更大的 batch size 配合 INT8 量化延遲放寬到秒級也沒關(guān)系。這個判斷做在前面后面選技術(shù)方案就不會跑偏。2.2 量化、剪枝、蒸餾、編譯四條主流路線怎么選Model-Optimizer 的技術(shù)路線大致可以分成四條量化、剪枝、知識蒸餾、編譯優(yōu)化。這四條路線不是互斥的實際工程中經(jīng)常組合使用但每條路線的適用場景和投入產(chǎn)出比差別很大。量化是把模型權(quán)重和激活值從高精度浮點FP32/FP16轉(zhuǎn)成低精度整數(shù)INT8/INT4或低精度浮點FP8/BF16。它的優(yōu)勢是通用性強、工具鏈成熟、壓縮比和加速比都很可觀。INT8 量化通常能帶來 2 到 4 倍的推理加速顯存占用降到原來的四分之一。缺點是低精度下精度損失需要仔細(xì)控制尤其是 INT4 量化對校準(zhǔn)數(shù)據(jù)和方法很敏感。剪枝是把模型中不重要的權(quán)重或結(jié)構(gòu)去掉分為非結(jié)構(gòu)化剪枝和結(jié)構(gòu)化剪枝。非結(jié)構(gòu)化剪枝把單個權(quán)重置零壓縮率高但需要稀疏計算庫支持實際加速效果依賴硬件。結(jié)構(gòu)化剪枝直接砍掉整個通道或注意力頭硬件友好但精度損失相對更大。剪枝更適合參數(shù)量巨大、冗余度高的模型比如早期的 BERT 和 ResNet。知識蒸餾是用一個大模型教師去指導(dǎo)一個小模型學(xué)生訓(xùn)練讓小模型學(xué)到教師模型的泛化能力。它的優(yōu)勢是能直接得到一個結(jié)構(gòu)更小、推理更快的新模型不依賴特殊硬件支持。缺點是訓(xùn)練成本高需要重新訓(xùn)練學(xué)生模型而且蒸餾效果和教師模型質(zhì)量強相關(guān)。編譯優(yōu)化是通過圖優(yōu)化、算子融合、內(nèi)存復(fù)用、自動調(diào)優(yōu)等手段把模型計算圖編譯成針對特定硬件高度優(yōu)化的執(zhí)行代碼。TVM、TensorRT、OpenVINO、ONNX Runtime 都屬于這一類。它的優(yōu)勢是不改模型精度純靠工程手段提速通常能拿到 1.5 到 3 倍的加速。缺點是和硬件綁定較深跨平臺遷移需要重新編譯。下面這張表是我根據(jù)實際項目經(jīng)驗整理的選型參考可以幫你快速判斷該走哪條路優(yōu)化路線典型加速比精度影響實現(xiàn)難度適用場景INT8 量化2-4x極小0.5%中通用推理加速首選方案INT4 量化3-6x中等1-3%高大模型端側(cè)部署顯存極度受限結(jié)構(gòu)化剪枝1.5-3x中等1-2%中冗余度高的 CNN/Transformer知識蒸餾2-5x可控高需要重新訓(xùn)練小模型編譯優(yōu)化1.5-3x無低所有場景通常和量化組合我的建議是先上編譯優(yōu)化再做 INT8 量化這兩步能解決 80% 的問題。如果還不夠再考慮剪枝和蒸餾。INT4 量化留到最后因為它對精度的影響需要仔細(xì)評估不是所有模型都扛得住。2.3 精度與速度的平衡如何設(shè)定可接受的精度損失做優(yōu)化最怕的就是“優(yōu)化完精度掉了業(yè)務(wù)方不認(rèn)”。所以在動手之前一定要和業(yè)務(wù)方對齊一個可接受的精度損失范圍。我的經(jīng)驗是分類任務(wù)精度損失控制在 0.5% 以內(nèi)檢測任務(wù) mAP 損失控制在 1% 以內(nèi)生成任務(wù)用人工評估或 BLEU/ROUGE 等指標(biāo)控制在 2% 以內(nèi)這個范圍大多數(shù)業(yè)務(wù)都能接受。設(shè)定好閾值之后優(yōu)化過程就有了明確的停止條件。比如 INT8 量化后精度掉了 0.3%在閾值內(nèi)那就繼續(xù)往下做如果掉了 0.8%超了那就得回頭調(diào)整量化策略比如改用逐通道量化、換校準(zhǔn)數(shù)據(jù)集、或者對敏感層保留 FP16。這個“量化-評估-調(diào)整”的循環(huán)是 Model-Optimizer 實操中最耗時間也最考驗經(jīng)驗的部分。還有一個容易被忽略的點精度評估必須用和線上一致的驗證集。我見過團隊用訓(xùn)練集的一個子集做校準(zhǔn)和評估結(jié)果線上效果差很多。校準(zhǔn)數(shù)據(jù)一定要從真實業(yè)務(wù)分布里采樣覆蓋各種邊界情況否則量化參數(shù)會偏精度損失在線上會被放大。3. 量化實操從 FP16 到 INT8 的完整落地路徑3.1 量化基本原理為什么 INT8 能加速還不怎么掉精度量化的本質(zhì)是用更少的比特位來表示數(shù)值。FP16 有 16 位其中 1 位符號、5 位指數(shù)、10 位尾數(shù)能表示的數(shù)值范圍很廣但精度有限。INT8 只有 8 位表示范圍是 -128 到 127但它把所有的比特位都用來表示數(shù)值的“精細(xì)度”所以在有限范圍內(nèi)精度反而更高。量化的核心公式是real_value scale * (quantized_value - zero_point)。其中 scale 是縮放因子zero_point 是零點偏移。對于對稱量化zero_point 為 0公式簡化為real_value scale * quantized_value。scale 的計算方式是scale max(abs(real_value)) / 127也就是把浮點數(shù)的最大絕對值映射到 INT8 的最大值。為什么 INT8 量化精度損失小因為神經(jīng)網(wǎng)絡(luò)對數(shù)值的微小擾動有很強的魯棒性。權(quán)重和激活值的分布通常集中在某個范圍內(nèi)量化只是把這個范圍線性映射到整數(shù)空間信息損失主要來自舍入誤差。只要 scale 選得合理舍入誤差相對于權(quán)重的整體分布來說很小對最終輸出的影響就有限。但這里有個關(guān)鍵點激活值的分布是動態(tài)的不同輸入下最大值可能差很多。如果用一個固定的 scale遇到異常大的激活值就會導(dǎo)致大量數(shù)值被截斷精度崩掉。所以實際量化時激活值通常采用動態(tài)量化每次推理時實時計算 scale或者用校準(zhǔn)數(shù)據(jù)集統(tǒng)計一個合理的范圍。權(quán)重是靜態(tài)的可以直接離線量化。3.2 訓(xùn)練后量化PTQ實操校準(zhǔn)集怎么選、參數(shù)怎么調(diào)訓(xùn)練后量化Post-Training QuantizationPTQ是最常用的量化方式不需要重新訓(xùn)練只需要一個校準(zhǔn)數(shù)據(jù)集跑一遍前向傳播統(tǒng)計激活值分布就能生成量化參數(shù)。它的優(yōu)點是快、成本低缺點是精度損失相對大一些尤其是對激活值分布復(fù)雜的模型。校準(zhǔn)集的選擇是 PTQ 成敗的關(guān)鍵。我的經(jīng)驗是校準(zhǔn)集樣本數(shù)在 100 到 500 之間比較合適太少統(tǒng)計不準(zhǔn)太多收益遞減。樣本要從真實業(yè)務(wù)數(shù)據(jù)里隨機采樣覆蓋各種類別和邊界情況。比如做圖像分類校準(zhǔn)集里每個類別至少要有幾個樣本做 NLP要覆蓋不同長度、不同領(lǐng)域的文本。校準(zhǔn)方法主要有三種MinMax 校準(zhǔn)、Moving Average MinMax 校準(zhǔn)、Entropy 校準(zhǔn)。MinMax 直接用校準(zhǔn)集里的最大最小值算 scale簡單但容易受異常值影響。Moving Average 對多個 batch 的最大值做滑動平均更穩(wěn)定。Entropy 校準(zhǔn)通過最小化量化前后分布的 KL 散度來選 scale精度最好但計算量大。我一般先用 Entropy 校準(zhǔn)如果速度太慢再換 Moving Average。以 PyTorch 為例PTQ 的典型流程是這樣的import torch from torch.quantization import get_default_qconfig, prepare, convert # 1. 加載訓(xùn)練好的模型并切換到 eval 模式 model MyModel() model.load_state_dict(torch.load(model.pth)) model.eval() # 2. 指定量化配置x86 平臺用 fbgemmARM 平臺用 qnnpack model.qconfig get_default_qconfig(fbgemm) # 3. 插入觀察器準(zhǔn)備量化 model_prepared prepare(model) # 4. 用校準(zhǔn)集跑前向傳播統(tǒng)計激活值分布 with torch.no_grad(): for batch in calib_loader: model_prepared(batch) # 5. 轉(zhuǎn)換為量化模型 model_quantized convert(model_prepared) # 6. 保存量化模型 torch.save(model_quantized.state_dict(), model_int8.pth)這段代碼看起來簡單但有幾個坑必須注意。第一prepare之前一定要把模型切到 eval 模式否則 BatchNorm 和 Dropout 的行為不對校準(zhǔn)統(tǒng)計會出錯。第二校準(zhǔn)集不要用訓(xùn)練集訓(xùn)練集已經(jīng)被模型“見過”激活值分布和線上不一致。第三量化后的模型要在真實驗證集上評估不能只看校準(zhǔn)集上的表現(xiàn)。3.3 量化感知訓(xùn)練QAT實操什么時候必須上 QAT如果 PTQ 后精度損失超過閾值那就得上量化感知訓(xùn)練Quantization-Aware TrainingQAT。QAT 是在訓(xùn)練過程中模擬量化誤差讓模型學(xué)會適應(yīng)低精度表示。它的精度通常比 PTQ 高 0.5 到 1 個百分點但需要重新訓(xùn)練成本高不少。QAT 的核心是在前向傳播時插入偽量化節(jié)點Fake Quantization模擬量化的舍入誤差反向傳播時用直通估計器Straight-Through EstimatorSTE把梯度直接傳過去。這樣模型在訓(xùn)練時就能“感知”到量化的影響權(quán)重會朝著對量化更友好的方向調(diào)整。QAT 的實操流程比 PTQ 多兩步先做 PTQ 得到初始量化參數(shù)再加載這個參數(shù)做微調(diào)訓(xùn)練。微調(diào)的學(xué)習(xí)率要設(shè)得很小通常是原始訓(xùn)練學(xué)習(xí)率的十分之一到百分之一訓(xùn)練輪數(shù)也不用太多幾個 epoch 就夠。下面是一個典型的 QAT 配置# 1. 先做 PTQ 得到初始量化模型 model.qconfig torch.quantization.get_default_qat_qconfig(fbgemm) model_prepared prepare_qat(model, inplaceFalse) # 2. 加載 PTQ 的量化參數(shù)可選能加速收斂 # model_prepared.load_state_dict(ptq_state_dict, strictFalse) # 3. 微調(diào)訓(xùn)練學(xué)習(xí)率設(shè)為原始學(xué)習(xí)率的 1/100 optimizer torch.optim.SGD(model_prepared.parameters(), lr1e-5, momentum0.9) for epoch in range(5): for batch in train_loader: optimizer.zero_grad() output model_prepared(batch) loss criterion(output, target) loss.backward() optimizer.step() # 4. 訓(xùn)練完成后轉(zhuǎn)換為量化模型 model_prepared.eval() model_quantized convert(model_prepared)QAT 最需要注意的是訓(xùn)練和推理的一致性。訓(xùn)練時用的偽量化節(jié)點推理時必須真正轉(zhuǎn)成 INT8 算子否則精度對不上。另外QAT 對學(xué)習(xí)率非常敏感學(xué)習(xí)率大了模型會發(fā)散小了收斂太慢需要多試幾組。3.4 逐通道量化 vs 逐張量量化精度差多少、性能差多少量化粒度是另一個關(guān)鍵選擇。逐張量量化Per-Tensor是整個張量共用一個 scale實現(xiàn)簡單、硬件友好但精度損失大。逐通道量化Per-Channel是每個通道單獨算 scale精度高但需要更多存儲和計算。以卷積層為例權(quán)重張量的形狀是[out_channels, in_channels, kH, kW]逐通道量化就是給每個 out_channel 算一個 scale。這樣不同通道的權(quán)重分布差異能被更好地捕捉量化誤差更小。實測下來逐通道量化比逐張量量化精度高 0.3 到 0.8 個百分點但推理速度可能慢 5% 到 10%因為要多一次 scale 查表。我的建議是權(quán)重用逐通道量化激活值用逐張量量化。權(quán)重是靜態(tài)的逐通道量化的額外開銷可以接受激活值是動態(tài)的逐張量量化實現(xiàn)更簡單而且激活值的通道間差異通常沒有權(quán)重那么大。這個組合在精度和性能之間取得了比較好的平衡。4. 剪枝與蒸餾結(jié)構(gòu)瘦身的兩種思路4.1 結(jié)構(gòu)化剪枝實操怎么判斷哪些通道可以砍剪枝的思路和量化完全不同。量化是“降低每個數(shù)值的精度”剪枝是“直接去掉一部分計算”。結(jié)構(gòu)化剪枝因為硬件友好在實際部署中更常用。它的核心問題是怎么判斷哪些通道或注意力頭不重要可以安全砍掉最常用的判斷標(biāo)準(zhǔn)是權(quán)重的 L1 或 L2 范數(shù)。一個通道的權(quán)重范數(shù)越小說明它對輸出的貢獻(xiàn)越小越可以砍。具體做法是對每個卷積層的每個輸出通道計算其權(quán)重的 L1 范數(shù)然后按范數(shù)排序砍掉最小的那部分??车谋壤ǔ?10% 開始試逐步增加到 30% 或 50%每次砍完都要評估精度。但單純按范數(shù)剪枝有個問題它沒有考慮通道之間的相關(guān)性。有些通道單獨看范數(shù)很小但它和別的通道組合起來對輸出影響很大砍了就會掉精度。所以更精細(xì)的做法是用泰勒展開或者 Fisher 信息來評估通道的重要性考慮梯度信息。不過這些方法計算量大工程上不一定劃算。我一般用“范數(shù)剪枝 微調(diào)”的組合先按 L1 范數(shù)砍掉 20% 到 30% 的通道然后在訓(xùn)練集上微調(diào)幾個 epoch 恢復(fù)精度。微調(diào)的學(xué)習(xí)率設(shè)小一點1e-4 到 1e-5 之間讓模型慢慢適應(yīng)新的結(jié)構(gòu)。實測下來ResNet-50 砍掉 30% 通道后微調(diào)ImageNet top-1 精度損失能控制在 1% 以內(nèi)。4.2 非結(jié)構(gòu)化剪枝稀疏度上去了為什么速度沒上去非結(jié)構(gòu)化剪枝是把單個權(quán)重置零理論上能獲得很高的壓縮率比如 90% 的稀疏度。但很多人剪完發(fā)現(xiàn)模型大小是小了推理速度卻沒變甚至更慢。原因在于GPU 和專用加速器對稀疏計算的支持有限稠密計算庫遇到零值還是要走一遍乘加運算。要讓非結(jié)構(gòu)化剪枝真正加速需要硬件和軟件棧的配合。NVIDIA 的 Ampere 架構(gòu)支持 2:4 稀疏模式也就是每 4 個權(quán)重里最多 2 個非零這種結(jié)構(gòu)化稀疏能被 Tensor Core 直接加速理論加速比 2 倍。但 2:4 稀疏對剪枝算法有約束不能隨便砍需要專門訓(xùn)練。所以我的建議是除非你的硬件明確支持稀疏加速否則優(yōu)先做結(jié)構(gòu)化剪枝。非結(jié)構(gòu)化剪枝更適合研究場景或者配合專門的稀疏推理引擎使用。工程落地時結(jié)構(gòu)化剪枝的收益更確定調(diào)試成本也更低。4.3 知識蒸餾落地教師模型怎么選、溫度參數(shù)怎么調(diào)知識蒸餾適合那種“必須用小模型但精度要求高”的場景。它的核心思想是教師模型輸出的軟標(biāo)簽soft label比真實硬標(biāo)簽包含更多信息學(xué)生模型學(xué)軟標(biāo)簽?zāi)軐W(xué)到更好的泛化能力。教師模型的選擇很關(guān)鍵。教師模型不一定要最大最強但一定要和目標(biāo)任務(wù)匹配。我見過用 BERT-large 蒸餾 BERT-small 效果很好但用 GPT-3 蒸餾一個小分類模型就沒什么收益因為任務(wù)差異太大。教師模型比學(xué)生模型大 3 到 10 倍比較合適太大了蒸餾信號反而不好傳遞。溫度參數(shù) T 是蒸餾的核心超參。T 越大軟標(biāo)簽的分布越平滑學(xué)生模型能學(xué)到的“暗知識”越多。但 T 太大也會導(dǎo)致軟標(biāo)簽過于均勻失去區(qū)分度。我的經(jīng)驗是 T 取 3 到 10 之間具體看任務(wù)。分類任務(wù) T4 左右比較常見生成任務(wù) T 可以取大一點。蒸餾損失通常是軟標(biāo)簽損失和硬標(biāo)簽損失的加權(quán)和loss alpha * KL(student_soft, teacher_soft) (1-alpha) * CE(student_logits, hard_label)。alpha 一般取 0.5 到 0.9偏向軟標(biāo)簽。如果教師模型質(zhì)量很高alpha 可以取大一點如果教師模型本身有噪聲alpha 要小一點多依賴硬標(biāo)簽。5. 編譯優(yōu)化與算子融合不改模型也能提速5.1 算子融合原理為什么融合能省時間算子融合是編譯優(yōu)化里最有效的手段之一。它的原理是把多個小算子合并成一個大的 kernel減少 kernel launch 開銷和中間結(jié)果的顯存讀寫。舉個例子一個典型的 Transformer 層里有 LayerNorm、QKV 投影、注意力計算、輸出投影、殘差連接、FFN 等多個算子。如果不融合每個算子都要單獨啟動一個 CUDA kernel每個 kernel 都要從顯存讀數(shù)據(jù)、算完再寫回顯存。kernel launch 本身有開銷顯存讀寫更是大頭。融合之后多個算子在一個 kernel 里完成中間結(jié)果留在寄存器或共享內(nèi)存里不用來回讀寫顯存速度能提升 20% 到 50%。常見的融合模式有Conv BN ReLU 融合、LayerNorm 殘差融合、QKV 投影融合、注意力 Softmax 融合。這些融合在 TensorRT、TVM、ONNX Runtime 里都有現(xiàn)成的實現(xiàn)通常不需要手寫只要把模型導(dǎo)出成對應(yīng)的格式編譯時自動就會做。5.2 TensorRT 部署實操從 ONNX 到 engine 的完整流程TensorRT 是 NVIDIA 平臺上最成熟的推理加速方案它把模型編譯成針對特定 GPU 高度優(yōu)化的 engine能拿到 2 到 5 倍的加速。下面是從 ONNX 到 TensorRT engine 的完整流程# 1. 先把 PyTorch 模型導(dǎo)出成 ONNX python export_onnx.py --model model.pth --output model.onnx --opset 13 # 2. 用 trtexec 編譯 ONNX 到 TensorRT engine trtexec --onnxmodel.onnx \ --saveEnginemodel.engine \ --fp16 \ --int8 \ --calibcalibration.cache \ --workspace4096 \ --minShapesinput:1x3x224x224 \ --optShapesinput:8x3x224x224 \ --maxShapesinput:32x3x224x224這里有幾個參數(shù)需要重點解釋。--fp16開啟 FP16 精度能直接拿到 2 倍加速精度損失幾乎為零建議默認(rèn)開啟。--int8開啟 INT8 量化需要配合--calib指定校準(zhǔn)緩存文件。--workspace是編譯時可用顯存設(shè)大一點能讓 TensorRT 嘗試更多優(yōu)化策略4096MB 是個比較穩(wěn)妥的值。--minShapes、--optShapes、--maxShapes指定動態(tài) shape 的范圍TensorRT 會針對 optShapes 做最優(yōu)優(yōu)化。導(dǎo)出 ONNX 時最容易踩的坑是算子不支持。PyTorch 的一些自定義算子、動態(tài)控制流、復(fù)雜的索引操作ONNX 可能不支持。解決辦法是盡量用標(biāo)準(zhǔn)算子重寫模型或者用 ONNX 的自定義算子擴展。導(dǎo)出后一定要用onnxruntime跑一遍確認(rèn)輸出和 PyTorch 一致再做后續(xù)編譯。5.3 動態(tài) shape 與 batch size 調(diào)優(yōu)吞吐和延遲的取舍動態(tài) shape 是推理部署里繞不開的問題。線上請求的 batch size 和序列長度都是變化的如果只支持固定 shape要么浪費算力要么頻繁重編譯。TensorRT 的動態(tài) shape 機制通過 profile 來支持你指定 min、opt、max 三個 shapeTensorRT 會為 opt shape 做最優(yōu)優(yōu)化其他 shape 走 fallback 路徑。batch size 的選擇是吞吐和延遲的經(jīng)典權(quán)衡。batch size 越大吞吐越高但單次延遲也越大。因為大 batch 能更好地利用 GPU 的并行能力但每個請求要等整個 batch 湊齊才能開始算。在線服務(wù)通常用較小的 batch size1 到 8保證低延遲離線批處理用大 batch size32 到 256追求高吞吐。我的調(diào)優(yōu)方法是先固定一個可接受的延遲上限比如 P99 小于 200ms然后逐步增大 batch size測吞吐和延遲的變化找到吞吐最高且延遲不超標(biāo)的那個點。這個點通常不是最大 batch size而是某個中間值。另外動態(tài) batch 配合請求隊列能進(jìn)一步提升 GPU 利用率但隊列長度要控制好太長會導(dǎo)致延遲抖動。6. 常見問題與排查技巧實錄6.1 量化后精度暴跌的五個常見原因量化后精度暴跌是最常見的問題我整理了一個排查清單按可能性從高到低排列問題現(xiàn)象可能原因排查方法解決方案精度掉 5% 以上校準(zhǔn)集分布不對對比校準(zhǔn)集和驗證集的激活值分布重新采樣校準(zhǔn)集覆蓋真實分布某些層精度異常敏感層未保護逐層對比量化前后輸出對敏感層保留 FP16整體精度略降量化粒度太粗檢查是否用了逐張量量化權(quán)重改用逐通道量化輸出全亂scale 計算溢出檢查激活值是否有 inf/nan加 clip 或換校準(zhǔn)方法特定類別精度差類別不平衡分析各類別精度變化校準(zhǔn)集按類別均衡采樣其中校準(zhǔn)集分布不對是最容易被忽略的。我遇到過一次校準(zhǔn)集用的是公開數(shù)據(jù)集但線上數(shù)據(jù)是手機拍攝的光照和角度差異很大量化后精度掉了 8%。后來換成線上采樣的校準(zhǔn)集精度損失降到 0.5% 以內(nèi)。這個教訓(xùn)很深刻校準(zhǔn)集必須來自真實業(yè)務(wù)分布。6.2 推理速度沒提升反而變慢的排查思路優(yōu)化完速度反而變慢這種情況也不少見。排查思路是先定位瓶頸在哪再針對性解決。用nsight systems或者torch.profiler抓一下推理的 timeline看看時間花在哪里。常見的變慢原因有第一量化后的算子沒有被硬件加速比如某些自定義算子沒有 INT8 實現(xiàn)框架 fallback 到 FP32反而多了一次類型轉(zhuǎn)換。第二算子融合沒生效模型里有一些不支持的算子打斷了融合。第三內(nèi)存拷貝開銷太大輸入輸出在 CPU 和 GPU 之間來回拷。第四batch size 太小GPU 利用率上不去優(yōu)化收益被 launch 開銷吃掉。我的經(jīng)驗是優(yōu)化后一定要用 profiler 驗證不能只看端到端時間。端到端時間受很多因素影響profiler 能告訴你每個 kernel 的實際耗時定位問題更準(zhǔn)。6.3 跨平臺部署的兼容性坑跨平臺部署是另一個大坑。在 x86 上量化好的模型放到 ARM 上可能跑不了因為量化算子實現(xiàn)不一樣。在 NVIDIA GPU 上編譯的 TensorRT engine換到另一張卡上可能不兼容因為 engine 和 GPU 架構(gòu)綁定。解決兼容性問題的原則是盡量在目標(biāo)平臺上做優(yōu)化和編譯。如果做不到那就用中間格式ONNX做轉(zhuǎn)換在目標(biāo)平臺上重新編譯。量化方面x86 用 fbgemm 后端ARM 用 qnnpack 后端兩者生成的量化模型不通用需要分別量化。TensorRT engine 更是和 GPU 型號、驅(qū)動版本、TensorRT 版本都綁定跨環(huán)境必須重新編譯。還有一個容易忽略的點不同框架的量化語義可能不一致。PyTorch 的 INT8 和 TensorFlow 的 INT8zero_point 和 scale 的定義可能不同直接轉(zhuǎn)換會出錯??缈蚣苻D(zhuǎn)換時一定要用官方工具并且做數(shù)值對齊驗證。7. 我個人的優(yōu)化經(jīng)驗與踩坑記錄做了這么多模型優(yōu)化項目我最大的體會是優(yōu)化不是一次性的工作而是一個持續(xù)迭代的過程。模型在更新數(shù)據(jù)分布在變化硬件在升級優(yōu)化策略也要跟著調(diào)整。我現(xiàn)在的習(xí)慣是每次模型上線前都跑一遍完整的優(yōu)化 pipeline量化、剪枝、編譯都過一遍用自動化腳本保證一致性。另一個體會是不要追求極致的壓縮比要追求性價比。INT4 量化能把模型壓到四分之一但精度損失和調(diào)試成本可能讓整個項目延期。INT8 量化加算子融合通常能拿到 3 到 4 倍加速精度損失不到 0.5%這個投入產(chǎn)出比是最高的。除非顯存實在不夠否則沒必要上 INT4。最后分享一個實用技巧優(yōu)化前先做 baseline profiling優(yōu)化后再做一次對比每個環(huán)節(jié)的耗時變化。這樣你能清楚知道每個優(yōu)化手段貢獻(xiàn)了多少哪些手段值得繼續(xù)投入哪些可以放棄。我見過團隊花兩周做剪枝結(jié)果只提速 5%而量化一天就提速 2 倍這就是沒有做 profiling 的后果。數(shù)據(jù)驅(qū)動才能讓優(yōu)化工作有的放矢。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
台湾综合丁香五月蜜桃| 4399在线日本A片| 吊色AV男人的天堂| 丁香五月婷婷免费视频| 久久久中文| 日日撸天天干| 亚洲精久久| 亚洲精品第一色色色色色色| 俺去也五月| 精品99这里有| 激情性五月天免费小说视频| 久久久婷丁香五月| 五月激情六月综合| 9热视频在线观看| 97人人看| 最新无毒无码AV| 天天综合网网欲色| 日韩按摩二区| 久久66er久久| 超碰在线国产| 在线观看av网站| 亚洲精品白浆高清久久久久久| 婷婷五月性感| 亚洲日本韩国| 色色亚洲| 丁香婷婷色五月| 久久婷婷五月综合啪| 99re免费精品视频| 丁香五月手机在线| 五月婷婷综合影院| 1234操逼网| 国产精品18久久久| 天天干一干| 九九在线视频| 99视频九九热| 5五月综合网亚洲| 另类丁香五月天区图| 91在线日| 欧美日本黄色| 四虎成人精品永久免费AV九九| 久9热视频在线| 久久性爱视频| 狠狠色丁香| av在线观看网站| 美女五月天| 伊人国产婷婷五月天| 亭亭色色五月天| av五月丁香| 免费视频WWW在线观看网站| 亚洲成人综合在线| 大香蕉伊人久久| 99久久五月婷婷| 天天 日综合| 国产人妻操逼| 国产VA播放| 91黄址| 去色色五月天| 99九九视频精彩在线| 丁香五月色情av| 日韩黄在免| 成人精品一区二区三区四区五区| 性爱AV天堂| 日韩性爱无码| 无码髙清| 区区久久妻| 亚洲视频二区| 久鲁鲁色网 | 五月丁香色色综合| 色婷婷色久综| 逼里香不卡| 婷婷精品综合| 久久免费操| 五月激情婷婷综合| 亚洲精品99| 激情av| 爱射综合| 五月天婷婷Av| 久久久五月五丁香| 妻久久久久| 思思久久精品视频| 99热成人在线观看| 五月丁香色综合| 日韩人妻无码精品| 婷婷五月成人| 色99xx| 六月婷在线| 五月婷婷|欧美| 久久99久久99精品免观看粉| 六月丁香射婷婷欧美色图片 | 色五月丁香五月五月婷婷| 色婷婷丁香网| 影音先锋人妻出差| 97婷婷丁香| 在线视频另类| 亚洲国产精品VA在线看黑人| 天堂五月婷婷| 深爱激情网婷婷| 亚洲九九九九| 操操自拍| 97在线观视频免费观看| 丁香六月婷| 丁香五月激情啪啪| 美国色五月天婷婷资源站| 亚洲色情网站| 日本三级中国三级99人妇网站| 中文字幕精品无码一区二区| 激情文学第四色婷婷丁香五月| 91热在线| 五月天激情视频网站| 丁香六月婷婷久久综合| 99精品网| 婷婷自拍| 色久在| www.丁香五月| 超碰在线国产| 天天综合在线网| 久久玖玖综合| 伊人喵咪a V| 任你日热视频| 六月丁香婷婷色69| 婷婷五月AV| 五月丁香色婷婷| 九九Y精品热播| 五月天激情影院| 综合热无码| 色色色热| 亚洲中文字幕翔田千里| 九九热这里有精品视频| 五月丁香婷婷免费视频| AA片在线观看视频在线播放| 在线婷婷| 色偷偷五月天| 综合久久五| 超碰在线精品| 99色热视频在线| 天天干电影| 亚洲殴洲精品Av在线| 婷婷五月天黄色| www.人人操人人看人人想人人摸 人人人人操,COM| 色欲一二三| 天天狠天天叉| 97久久精品| 五月丁香色婷婷熟女| 色色免费网站| 97干在线播放| 九九热最新| 超碰在线国产| 久久色在线视频| 日韩AAAAAAAAAAA片| 五月天另类综合网| 99婷婷| 国洲夜色亚热在线久久| 99色免费视频| 97成人丁香| 99热最新精品| www.色九月| 欧美黑人巨大性生话| 超碰国产AV| www激情网| 大香蕉啪啪啪| 成片免费播放| 成人在线精品| 国产婷婷五月天| 99亚洲无码| 粉嫩AV久久一区二区三区| 性色av大香综合| 久久久久思思热| 能直接看的av网站| 99久久精| 91九色首页| 91黄操| 色综合激情| 无码91中文字幕| 91艹人| 九九伊人网| 久久99综合网| 97干免费视频| 日本一级一级一级一级| 五月婷婷成人| 亚洲 日韩色色| 丁香五月色色| 五月丁香久人妻中文| 31色区视频免费看| 99热这里只有精品8| 97日本操| 激情五月天社区| 五月天色色色网| 婷婷五月天免费| 色婷五月天| 操操操www.com| 狠狠色噜噜狠狠狠狠综合| 亚洲网视屏| 超碰色综合| 免费AV在线| 第五色婷婷| 成人人操| 亚洲综合无码| 综合亚洲五月天| 少妇综合网| 99久久99视频| 天天插综合| 日韩色色色色色| 日本系列_4页_777FP| 欧美五月婷婷| 国产成人精品一区二三区熟女在线| 国产精品久久在线观看技巧| 五月婷A V在线| 99精品久久久久久久婷婷久久| 色级停停| 婷婷久久精品| 五月色亭丁香| 秋霞簧片| 久热爱大香蕉在线蜜臀悦色 | 天天操天天草天天草天天| 超碰国产一区| 在线另类视频| 丁香五月婷婷成人色区| 亚洲久艹| 玖玖热视频| 天天婷婷操| 婷婷9月天| 日韩色色视频| 天天综合亚洲综合网天天αⅴ| 开心五月激情网| 色五月激情基地| 超碰五月婷婷五月天| 丁香五月成人婷婷| wWw色五月| 久久大大香| 丁香婷婷激情五月天无毒不卡蜜桃| 九九十99视频| 精品夜夜澡人妻无码AV| 欧美激情VA永久在线播放| 婷婷激情综合| 碰碰碰碰碰99| 另类专区在线观看| 岛国av网站| 亚洲操操| 丁香婷婷婷五月综合色情| 色色色婷婷五月| 五月丁香婷婷福利| 综合伊人久久| 久久婷婷婷婷伊人| 色99网| 中国丰满熟女A片免费观| 丁香婷婷五月| 婷婷五月丁香激情色情| 婷婷99中文字幕| 无码人妻丰满熟妇奶水区码| 成人 在线 日韩| 五月丁香亚洲综合网| 在线观看亚洲AV| 五月天婷婷综合网| 精品爆操| 国产婷婷色综合AV蜜臀AV| 色五月首页| 色综合久久久综合久久网| 在线中文字幕视频| 亚洲热久久| www超碰| 婷婷五月激情黄色| 超碰人人色| 亚洲第一综合| 五月婷婷在线观看| 丁香五月婷婷88在线| www.99热精品| 二区成人视频| 性爱激情综合网| 伊人干综合| 婷婷五月综合视频| 夜夜夜天天操| 欧美色久| a九九热www| 懂色av粉嫩av蜜臀av| 综合久久97| 精品9久| 99色在线| 色综合色色| 婷婷综合在线| 五月六月丁香激情| 综合色五月| 天色综合网站| 狠狠操天天操天天操| 色综合综合色| 99九九在线精品热动漫| 99热线观看9| av中文字幕免费观看| 久久这里只有精品8| 天天肏高清在线| 五月花婷婷丁香| 久久五月网| 99在线观看视频免费| 婷婷六月视频| 久久婷网| 天天摸天天肏| 婷婷激情四射| 性爱AV天堂| 超碰99在线观看| 99热免费精品| 欧美人人操| 五月丁香激情综合六月涩涩爱| 玖玖玖婷婷婷| 五月婷婷国产| 97人妻碰碰碰久久久久-最近国语高清| 色135综合网| 91操碰| 亚洲国产精品VA在线看黑人| www.日本久久videos| 综合激情sV| 久热精彩视频98| 亚洲天堂制| 色婷婷AV久久| 五月激情婷婷四射| 婷婷爱爱蜜臀天天操| 六月婷欧美| 黄页免费一级视频懂色| 久久婷婷五月天激情| www.一起草av| 青青草色在线视频观看| 五月亭亭六月色| 开心 五月 综合| 丁香亭亭久久| 天天摸天天高潮天天爽| 婷婷五月另类网站| 国产精品日日躁夜夜躁| 丁香六月天| 激情五月激情综合网| 色优久久| 91精品国产综合久久久不卡电影| 热久91| 超碰人人妻| 啪精品| 婷婷射图| 五月婷婷伊人网| 成人网站免费sxj| 久久机只有这里精品| 岛国av电影网站| 五月天综合激情网| 99操碰| 丁香六月天| 日欧一片内射VA在线影院| 欧美色小说婷婷| 丁香婷婷婷五月| 精品久久久999| 色情综合网| 碰人人97| 日本本土色网第一区| 五月丁香六月婷婷综合伊人| 亚洲乱码w在线观看| 日本啪啪网| 婷婷啪啪| 久久在线大香蕉| 色一情一乱一乱一区91| 六月丁香婷婷尤物| 99欧州偷拍视频| www激情| av婷婷丁香| 九九热re99re6在线精品| 色婷婷手机在线| 色五月色综合| 99啪啪视频| 极品人妻VIDEOSSS人妻| 婷婷五月天情色| 欧美五月丁香啪啪响视频| 一本综合丁香日日狠狠色| 久热亚洲| 婷婷伊人欧美| 九九热只有精品6| 久久99性爱视频| 五月婷婷色影院| 久久婷婷成人视频| 思思热视频| 日韩免费视频| 大香蕉五月天婷婷| 色综合99| 97超级啪啪在线观看| 日本nghangse中文字幕| 天天 日综合| 在线只有精品| 五月色导航| 五月丁香啪啪| 免费成人va| 色狠狠999综合网| 99热激情| 五月婷婷综合在线视频| 亚州激情在线视频| 九九色影视| 级人人91| 色五月天成人在线| 天天色播| 国产中文亚洲欧美日韩性交| 91久久精品无码一区二区三区| 色爆五月| 五月天开心成人网| 久久久中文| 久久婷丁香五月| 久久免费婷婷视频| 伊人热在线大香蕉| 丁香五月激情视频在线| 熟女人妻一区二区三区免费看| 亚洲小电影在线观看黄999| 丁香五月激情欧欧美| 人人摸人人搞| 婷婷五月亚洲综合| 天天操婷婷| 超碰无码老师| 深爱激情网五月天| 狠狠色噜噜狠狠狠狠狠色综合久久| 欧美成人无码高清一区二区三区| 亚洲精品成人| 玖玖婷婷五月天| 天天日天天插| 丁香五月开心亚洲| 亚洲综合视频网| 超碰av天堂| 99国产视频网| 日韩精品一区二区刘| 开心亚洲久久开心| 成人午夜视频精品一区| 婷婷六月婷婷| 天天操天天插| 99热骚货| 丁香婷婷综合影院| 99久在线精品99re8热| 丁香五月激情啪啪啪| 99热只有精| 激情五月天天| 色综合天天天天做夜夜| 中文字幕婷婷在线| 天天操加勒比| 婷婷五月综合激情| 人人操AV| 欧美丁香五月天| 久99婷婷色综合| 色色色色av777| 亚洲视频综合网| 内射在线CHINESE| 五月丁了香蕉综合| 538在线精品| 欧美熟女乱又伦| 婷婷色五月大香蕉在线| 人妻无码精品一区| 91久久精品无码一区二区三区| 五月婷婷激情日本| 婷婷免费精品视频| 老师的粉嫩小又紧水又多A片视频| 怡红院院在线导航网| 天天色情站| 开心五月丁香婷婷| 九月av在线| 久久婷婷五月天| 九九青青草成人| 亚洲精品99| 青青热久精品视频在线观看| www.婷婷激情网.com| 色五月激情网| 亚洲一个色| 亚洲精品白浆高清久久久久久| 亚洲瑟瑟精品在线| 99人妻碰碰碰久久久久视| 日韩精品一品二区三区的使用体验| 91精品国产日韩91久久久久久国模| 久草狼人| 六月丁香五月亭亭| www.99热这里精品| 丁香六月综合激情| 久久免片| 日韩欧美一区二区三区四区| 久久密臀婷婷| 婷婷五月天黄色| 襙比视频| 六月久久婷婷| 免看黄大片AA | 亚洲人妻一区二区| 91久久久久久久久| 99热最新国内| www色色com| 色宗合久久五月婷婷| 色色婷婷色色| 婷婷五月天在线观看| 久久五月天色| 丁香六月色情| 色噜噜狠狠色综合网| 成人看片网站| 婷婷丁香97| 丁香婷婷射| 91久久免费| 高清无码.com| 日韩伊人大香蕉| 99久久这里只有精品| 五月婷婷五月天亚洲无码| 色月丁| 99九九久久| 六月丁香婷婷综合在线| 丁香五月婷婷六月婷| 色婷婷久久天天性爱| 亚洲情综合五月天| 深爱激情六月天| 色婷婷丁香五月综合| 精品久久婷婷五月天| 九9九9无码| 成人无码精品1区2区3区免费看| 亚洲免费观看高清完整版AV线| www.狠狠色.com| 91丨九色丨白浆秘| 婷婷伊人视婷婷婷| 日韩国产AV播放| 狠狠干综合| 五月婷婷导航| 热久精品| 丁香五月婷婷色播艳门照| 丁香五月激情综合| 欧亚中文A V| 日逼影音先锋男人AV资源站| 丁香五月欧美| 婷婷五月情| 五月色婷婷综合| 加勒比色色| 91婷婷在线| 99热欧美精品| 亚洲国产网址| 婷婷黄色网| 色情成人五月天| 亚州操人在线视频| 亚洲免费看片| 五月激情婷婷综合| 五月色婷婷中文字幕| 成人五月天视频播放| 天天肏天天插| 五月婷庭丁香在线| 狠狠狠狠狠狠狠狠狠狠狠色宗合图片| aaa丁香五月天| 99热热这里只精品996小说| 超碰在线个人观看| 丁香亚洲色综合| 成人片黄网站色大片免费毛片| av中文在线| 五月激情六月丁香| 开心五月网 | 人妻中文在线| 天天日天天舔天天摸| 97人妻碰碰中文无码久热丝袜| 激情五月,激情综合网| 日韩AV中文字幕在线| 久热A片| 亚州第一黄网| 欧美日韩日韩成人| 加勒比日本一区二区三区| 日韩无码91| 青青草婷婷久久| 草久私拍| 人人性久久| 中文字幕,综合,91| 1024国产| 日本怕怕视频| 小视频一区 | 婷婷激情人妻| 欧美丁香婷婷天天操| 九月丁香婷婷综合激情| 色色色综合视频| 亚洲精品99| 天天做天天爱天天摸| 五月丁香爱婷婷深深| 久鲁鲁色网| 五月丁香av在线| 99在线国| 五月天婷婷丁香基地在线观看| 黄色一级影片| 五月天综合视频| 五月激情小说| 激情精品久久| 婷婷六月视频| 亚洲色啪| 亚洲色情激情丁香五月| 五月天综合视频网| 国产成人综合网| 大香蕉综合网| 九九色情网五月天| 91se在线视频| 狠狠婷婷爱| 婷婷五月天啪啪| 欧美色五月| 99热免| 五月天色色无码| 综合久久首页| 色婷婷久久综合| 五月天色五月天| 婷婷成人五月天成人文学小说| 亚洲va成人va成人va在线观看| 天天综合精品| 九九无码| 嫩草视频观看| 天天综合色丁香 | 色婷网| 啪啪操网| 开心六月婷| 婷婷娱乐丁香综合网| 67194中文字幕| 久99视频| 月色色综合婷婷网| 亚洲激情五月婷婷日日| 能看的av| 国产成人精品一区二三区熟女在线 | 九色在线观看91av| 激情综合女人网五月播播| 五月丁香免费看| 欧洲色色| 伊人碰碰婷婷| 天天色天天色天天色天天色天天色| 天堂网啪啪| 超碰久热| 免费亚洲成人电影AV| 99热99日…..| 色欲婷婷五月天丁香| 97在线观看| 国产激情在线| 久久人妻高清中文| 日日干夜夜干| 天天操加勒比| 天天天摸夜夜夜玩| 久热99| 99狠狠| 久久在线人妻| 91狠狠综合久久久久久| 九月av| 婷婷激情五月综合丁香社| 综合激情视频| 亚洲成人超碰| 深爱五月最新网址| 精品亚洲国产成AV人片传媒| 91九色网| 99熟女啪啪视频| Www.se.久久| 色色99色色| 五月天综合激情网| 综合色网站| 久久九九99亚洲国产久精综合| 色婷婷欧美| www九月婷婷| 另类图片婷婷五月天| 99热成人| 91viP在线看| 久久色五月| 人妻六月天| 亚洲五月天综合| 九九热免费视频| 中文字幕,综合,91| www.99成人视频| 成人草榴视频| 激情五月婷婷网在线观看| 国产在线黄色| 亚洲无码另类| 99热最新精品| 97se视频在线| 激情综合网激情五月天| 奇米网大香蕉| 五月激情天天干| 综合久久十| 色色色色色色综合| 野战J办公桌椅H| 俺五月| 91蜜桃婷婷狠狠久久综合9色| 99热这里只有精品1025| 9久久精品| 伊人色综合影院视频| 丁香婷婷九月| 日本 欧美在线| 丁香五月区| 欧洲一区二区| 涩五月婷婷| 久久九色| 99热| 日日射天天射| 五月天sesese| 六月丁香综合| 日韩精品超碰在线观看| 色六月婷婷| 色情综合| www.婷婷| 天天婷婷天天| 啪啪视频99| 五月婷婷第四色| 六月丁香停| 九九综合| 狠狠色狠狠干| 99re资源在线视频导航| 26UUU欧美| 色色九九五月天 | 激情五月小说婷婷| 亚洲欧洲色色| 五月激情四射网站| 丁香五月偷拍| www超碰| 色色色欧美| 婷婷综合网在线| 国产婷婷婷| 99视频在线观看网址| 操九色| 久久九九热视频| 婷婷丁香一月| 99热亚州综合| 伊人www22综合色| 干亚洲天堂| 大香蕉AV电影在线| 欧美日韩aaa| www,8050,午夜三级| 天天插天天干| 婷婷狠狠操| 丁香六月激情综合| 天天揷综合网| 91无码视频| 色亚洲视频| 超碰五月婷婷五月天| 久色网| 色高清无码视频| 五月天婷婷丁香人人操91| 九九色热| 99热99干| 久久只有精| 久久性都花花世界成人免费视频| 色婷婷综合影院| 精品国产va久| 久碰综合| 精品一二三区久久AAA片| 五月婷婷在线免费| 婷婷欧美激情综合| 91丁香婷婷综合资源| 五月综合视频| 五月婷婷六月丁香在线| 丁香五色月婷婷网| 97性视频| 亚洲乱码日产精品BD在线观看| 激情五月六月| 九九在线免费观看| 91精品丝袜久久久久久| 黄色AAAA韩国guochansanji | 色色色色色综合| 玖玖资源站蜜臀| 天天操夜夜啊| 婷婷天堂视频| 五月婷婷啪啪啪啪| 天天插天天插| 超碰在线中文字幕| 天天射影视综合网| 成人五月天在线观看| 大胆伊人久久| 碰碰人人人| 99热久| 夜色综合网| 九九精品在线观看视频6| WWW色综合| 婷婷九月激情| 婷婷亚洲久久| 欧美日韩二区在线| 婷婷五月天伊人| 色婷婷888| 五月婷婷综合色啪首页| 狠狠色狠狠干| 婷综合| 九九99香蕉在线视频播放| 九九XX视频| 99色色网| 99精品视频在线观看| 色五月激情综合| 丁香五月激情在线| 亚洲综合婷婷五月| 六月色日韩| 婷婷五月电影院| 国产首页在线| 亚洲精品字幕| 激情综合色| 操碰91| 超碰97人人操| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 丁香五月婷婷色| 92久久| 五月天激情视频| 开心色播色五月婷婷| 狠狠另类视频| 26uuu色噜噜精品一区| 亚洲精久久| 五月激情综合网| 999激情视频| 婷婷五月天激情电影| 99热欧美精品| 2017人人操| 天堂爱啪啪| 91色干| 99亚洲精美视频在线观看| 国内在线99视频| 五月婷婷国产| 婷婷伊人五月丁香天堂网| 国内精品免费一区二区2009| 色婷婷AV在线观看| 亚洲韩国日产综合AV| 亚洲国产网址| 久久婷婷东京热大香樵| 97色射| 任你搞在线观看视频| 丁香六月天婷婷| 99色久| 97性视频| 怡红院 久久| 激情五月综合网| 天天草人人摸| 五月婷婷m| 99热这里只有精品69| 日韩十国产极品久久| 5月婷婷五月天| 99热这里只有免费精品| www.五月丁香| 日本色色图| 噜噜在线| 狠狠爱成人综合网| 免费观看日韩成人av| 99亚洲精品视频| 精品人人操| 婷婷六月色丁香视频在线观看| 亚洲尤物在线| 综合网天天| 干一干xxxx| 五月丁香成人网| 欧美性猛交99久久久久99按摩| 久久色六月| 九九99在线| 色综合久久综合中文综合网| 91色涩| 成人短视频在线观看| 国产黄大片在线观看画质优化| 99综合99| 超碰在线精品| 深爱开心激情网| 婷婷开心激情五月激情网| 婷婷色综合| 91狠狠综合久久久久久| 丁香五月天大香蕉啪啪| 色情五月婷| 婷婷激情五月天7| 色五月天中文字幕| 色五月婷婷在线| 婷婷在线视频| 中文字幕丰满乱孑伦无码专区| 九月婷婷综合网| 五月婷婷高清| 激情六月日韩| 综合久久9| 人人人操 超碰| 九九色院| 亚洲尤物在线| 久久99精品久久久久久噜噜| 六月婷婷综合| 五月天伊人久久| 夜夜操夜夜爽| 99久在线精品99re8| 色啪网| 亚洲AV久久久久久久久久久久久久久久 | 成人婷婷| 99热的无码| 国产精品久久..4399| 丁香五月婷婷色综合| 亚洲免费观看高清完整版AV线| 三区激情四射av| 亚洲六月婷婷| 99这里都是精品| 超碰资源在线| 激情 婷婷 插| 色五月激情| 五月 婷 久| 激情q青青草在线婷婷| 天天干狠狠| 色色色无码| 久久一品区| 狠狠色丁香婷婷基地| 久婷婷| 九九色video| 婷婷成人综合免费视频| 强伦轩人妻一区二区电影| 国产,欧美,学生妹,视频| 激情六月天婷婷| 5月丁香六月情| 五月丁香六月婷| 久久婷婷激情四射五月天| 好好干av| 五月丁香婷婷综合| 色综合视频| 五月丁香狠狠| 亚洲亚洲人成综合网络| 国产欧美日韩性爱| www.婷婷六月天| 国产色色小草视频| 激情亚洲五月| 婷婷色播婷婷| 伊人婷婷大香蕉| 日本丁香五月| 五月丁香婷婷伊人日韩| 婷婷色5月天在线。| 九九色人| 久久精品五月天| 五月婷婷丁香网| 精品人妻在线免费观看| 五月婷婷伦理| 深爱婷婷网| 超碰在线观看9| 亚洲综合色色| 草久私拍| 能直接看的AV网站| www99精品日韩| 婷婷五月天伦理| www.夜夜操| 伊人网欧美在线男人天堂五月丁香 | 日本乱子人伦在线视频| 亚洲综合在线视频| 五月婷婷综合久久| 天堂资源欧日浪女在线播放| 久久天天| 婷婷五月天亚洲综合| 亚洲婷婷免费| 丁香婷婷老司机久操| 五月婷婷啪啪网| 亚洲熟妇AV乱码在线观看| 日本精品。999| 成人国产欧美大片一区| 久er7久热| 免费看欧美成人A片无码| www.婷婷网| 婷婷五月丁香久久| 六月婷婷综合激情| 色情五月婷| 97资源碰碰| 婷婷综合色色| 99热只有| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 特黄三级片| 九九热精品视频| 婷婷五月综合激情| 五月婷婷五月| 婷婷六月丁香1| 久久久99精品免费观看| 色婷婷五月天小说网| 狠狠久久婷五月综合色| www激情五月天| 伊人成综合五月婷婷| 99热在线观看| 狠狠爱婷婷爱| 99ri精品| 日日操夜夜爽天天天| 久久大国产香蕉| 狠狠狠狠狠操| 亚洲综合成人网站| 熟女网站久久| 97亚洲色 torrent magnet| 丁香五月天激情| 99热最新网址| 五月丁香日逼| 成人 在线 日韩| 久久五月婷| 全部老头和老太XXXXX| 五月丁香婷中文| 一级韩国产精品毛| 91丨九色丨白浆秘| 婷婷五月天播| 五月婷婷色在线| 热99只有里视频| 婷五月天六| 色婷婷久久综合| 亚洲激情免费久久| 久久性都花花世界成人免费视频 | 丁香六月婷婷激情| 99热| 5月丁香婷婷| 91碰免费视频| 日韩成人综合网| 婷婷丁香五月天综合网| 久操大屁股女人av| 97香蕉碰碰人妻国产欧美| 天天操天天操综合| 婷婷五月娱乐在线| 亚洲免费婷婷| 色五月成人在线| 婷婷射图| 最近中文字幕2019视频1| 色婷婷五月天偷拍| 久久五月视频| 99caobi| 婷婷午夜| 亚洲第一精品成人999久久精品| 任你操精品免费| 欧美日韩精品人妻狠狠躁免费视频| 六月丁香社区| 久久这里只精品66| 成人AV片播放| 99精品免费视频| Www,五月天| 99热99在线| 九九久久偷拍| 婷婷五月天基地| 99色亚洲| 亚洲色婷婷色| www.五月婷| 日本欧美成人片AAAA| 天天操天天操天天操天天操天天操 | 日韩精品AV一区二区三区| 五月丁香香蕉| 婷婷性爱无码视频| 久久9久久| 91综合视频丁香| 丁香五月婷婷影院| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 淫荡综合网| www.久久爱| 综合久久五月| 99∨VTV| 色欲影香| http://www.sd-xiangsu.com/| www.色99| 99视频在线观看视频| 五月丁香影院| VA色婷婷| 99热a片免| 热99久久这里只有精品| 激情六月丁香| 欧美啪啪网| AV大片在线播放| www.狠狠| 色域五月婷婷丁香| 99热久| 三十路磁力链接| 日本女天天爽| 性生活视频98791| 日本少妇AA一级特黄大片| 亚洲永久免费| 激情丁香五月| 深情五月天| yazhouzonghesese| 夜夜骑日日操| 久操大香蕉| 色婷婷9| 99热在线看| 禁片二区| 亚洲色就是色色色| 国产毛多水多女人A片| 超碰在线国产| 丁香激情网| 亚洲操B| 天天婷婷综合亚洲亚洲| 丁香五月色五月婷婷宗合| 天色综合网站| 十月丁香婷婷| 99热在线观看免费中文| 色99在线| 超碰九九热| 爱久综合| 4399亚洲视频| 91成人视频| 91丁香五月| 97碰| 九 九九九AV| 欧在线一区| 久久五月天丁香| 日韩成人无码片| 久草视频大香蕉99| 九九精品9| 国产欧美大香蕉一区| 色和综合网| 丁香五月婷婷国产av| www。久久久久一b。Cc| 日韩久久成人| 强壮公让我夜夜高潮A片视频| 超碰在线91| 成人无码髙潮喷水A片| 国产毛片精品一区二区色欲黄A片 欧美交换配乱吟粗大25P | 色五月婷婷青娱乐| 99re视频在线| 91啪啪网| aaa久久| 色亚洲无码| 激情综合网五月在线播放| 六月婷婷天天操夜夜爽视频| 日日干天天射| 六月色日韩| 很很干在线视频| 婷婷丁香五月六月激情| 欧美日韩aaaa| 婷婷五月花丁香| 黄色一级影片| 97资源碰碰| 色五月激情五月开心五月| 丁香婷婷91在线观看视频| 97干视频| 五月丁香啪啪啪| AA片在线观看视频在线播放| 玖玖@三月天天丁香婷婷| 日本97在线看片| 五月丁香久久呀| 综合色播| 激情婷婷丁香色情五月天| 狠狠色噜噜狠狠| 久久精彩视频| 99热手机在线精品| 青柠影视免费高清电视剧| 日本波多野结衣视频| 激情超碰网| 九九热欧美| 天天久久人人| 蜜臀嫩草| 久久久大香蕉| www.99色| 99综合成人视频在线观看| 人妻视频在线| 日本天天综合| 婷婷五月天电影网| 久久99久久99精品免视看婷| 国产成人网址| 国产精品成人网址| 伊人网大香| 精品网站99| 九九激情| 超碰99热| 91黄色五月天视频| 91人人网| 国产精品噜噜在线视频| 色综合伊人网| 99热综合| HD久久精品视频| 色综合色综合婷婷热| 无月播播激情在线观看视频| 久久五月婷| 亚洲激情综合色站| 婷婷金品综合视频| 色情成人五月天| 午夜成人av在线| 色色五月婷婷| 伊人久久丁香婷婷六月五月综合| 色色色色色色色色五月先| 色婷婷香蕉在线| 婷婷99视频精品| 天天色官网| 99性视频| 色综合久久无码| 天天插综合在线| 激情五月婷婷五月丁香五月开心五月| 99精品视频在线观看| 五月婷av| 激情五月天之六月婷婷| 26UUU欧美激情一区二区| 中字幕视频在线永久在线观看免费| 激情图片99| 91婷婷五月天综合视频| 日韩成人电影AV| 国产AV网页| 五月丁香六月婷婷,婷| 日亚二欧美| 玩熟女五十AV一二三区| 丁香六月婷婷| 激情五月天偷拍综合网| 丁香婷婷综合激情五月色| 久热中文字幕| 99这里只有精彩视频| 啪啪啪综合网| 亚洲在线操| 亚洲欧美一区二区三区爱爱动图 | 成 久久| 亚洲欧洲另类| 99热超碰天堂网| 日日夜夜综合| 96精品成人无码A片观看金桔| 久久99精品久久久久子伦| 日韩精品二三区| 婷婷五月影院| 激情99| 天天色天天| www.色多多婷| 激情六月五月婷婷综合网| 91碰碰| jiujiujiuwuyuetian| 日日爱激情| 人妻丰满精品一区二区A片| 国产免费一区二区在线A片视频| 97操碰在线视频| 欧美日韩色色| 热99只有精品| 久久激情网| 久久婷婷六月综合| 婷婷五月电影| 丁香五月性爱爱五月| 日屌日日操日日色| 色婷小说| 天天干天天日日| 嫩草AV久久伊人妇女超级A| www,色婷婷| 少妇人妻人伦A片| 九九超日本| 天天日日综合| 五月天色软件| 伊人婷婷五月天av| 精品国产一区二区三区四区阿崩 | 色五月久久成人婷婷| 丁香婷婷久久| 99色色爰| 五月丁香六月在线| 五月丁香美女视频| 婷婷99中文字幕| 激情丁香六月| 特黄三级片| 丁香六月激情四射| 丁香六月婷婷开心| 色五月首页| 久热综合| 91一起操| 久久综合九九| 丁香九月综合| 精品色色| 激情婷婷五六月天| 国产又爽又猛又粗的视频A片 | 天天爽夜爽| 操一区| 丁香五月综合| 五月丁香成人| 无码一区精品一区视频| 欧美久久婷婷| 色婷婷亚洲在线观看| 激情綜合W W W,激情五月天| 亚洲AV无码影院| 天天做天天双| 色五月婷婷777| www.五月丁香av| 日逼影音先锋男人资源站| 丁香狠狠色婷婷久久无码视频| 天色色综合网| 99热免费观看| 五月婷精品| 欧美色婷婷| 能看的AV网站| 激情婷婷99| 五月天开心婷婷激情网站| 久久 婷婷 五月天| 日韩无码专区| 婷婷五月天色网久| 国产超碰av| 国产精品成人AV在线| 久久婷婷六月综合| 极品少妇高潮啪啪AV无码| 久久九九大香蕉电院| 九97免费视频| 激情九月综合| 色天天久婷婷| 丁香影院五月综合| 久久电影4399| 欧洲亚洲免费视频9| 日韩黄色影院| 色综合另类| 亚洲小视频免费看| 精品国产AV色一区二区深夜久久 | 亚洲九九夜夜| 综合xx网| 欧美人人超级碰| 丁香五月天堂网| 日日做天天操夜夜爽| 五月天停婷基地| 91久久婷婷| 五月天伊人手机在线播放AV| www夜夜操comwww| 69久久99精品久久久久婷婷| 色色色色网| 狠狠色噜噜色狠狠狠综合久久成人波 | 亚洲操逼片|