欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

模型量化入門(mén):從FP32到INT8的部署優(yōu)化實(shí)踐

模型量化入門(mén):從FP32到INT8的部署優(yōu)化實(shí)踐 前陣子幫某團(tuán)隊(duì)把一個(gè)圖像分類(lèi)模型往嵌入式設(shè)備上搬模型在服務(wù)器上跑得飛快一上板子就露餡內(nèi)存直接頂滿跑一幀要兩秒多。問(wèn)題根本不是精度不夠而是模型太大、計(jì)算太重。這時(shí)候能想到的第一個(gè)手段就是模型量化——把 FP32 的權(quán)重和激活從 32 位浮點(diǎn)壓到 8 位整數(shù)模型體積直接縮到四分之一推理速度能提好幾倍。這篇內(nèi)容就把模型量化這塊最基礎(chǔ)的知識(shí)一次性講清楚包括它解決什么問(wèn)題、有哪些關(guān)鍵概念、實(shí)際落地怎么做、又會(huì)踩到哪些坑。不管你是剛接觸部署優(yōu)化的同學(xué)還是已經(jīng)在做端側(cè)推理但一直沒(méi)系統(tǒng)梳理過(guò)量化原理的工程師這篇都適合當(dāng)一份入門(mén)地圖來(lái)用。1. 為什么模型越跑越慢量化要解決的問(wèn)題1.1 部署現(xiàn)場(chǎng)的三個(gè)老大難模型訓(xùn)練的時(shí)候大家關(guān)心的是精度、收斂速度、顯存占用模型一旦要部署問(wèn)題就完全變了。我見(jiàn)過(guò)很多項(xiàng)目在服務(wù)器上表現(xiàn)挺好一換到手機(jī)、攝像頭、機(jī)器人控制器這些端側(cè)設(shè)備立刻遇到三個(gè)攔路虎內(nèi)存不夠、算力吃緊、帶寬卡脖子。先說(shuō)內(nèi)存。一個(gè)常見(jiàn)的分類(lèi)模型如果權(quán)重是 FP32那就是每個(gè)參數(shù)占 4 個(gè)字節(jié)。模型不大還好一旦涉及到檢測(cè)、分割這類(lèi)大模型動(dòng)輒幾百兆字節(jié)很多嵌入式設(shè)備根本裝不下更別說(shuō)還要給激活值、中間緩存留空間。再說(shuō)算力大部分端側(cè)芯片的浮點(diǎn)計(jì)算單元和整數(shù)計(jì)算單元數(shù)量差距懸殊同一個(gè)芯片上 INT8 的運(yùn)算速度往往是 FP32 的好幾倍這也是為什么量化之后“跑得快”。最后是帶寬模型推理時(shí)要把權(quán)重從內(nèi)存搬到計(jì)算單元內(nèi)存帶寬越窄搬運(yùn)時(shí)間越長(zhǎng)。如果你把 4 字節(jié)的參數(shù)壓成 1 字節(jié)搬運(yùn)量直接變成原來(lái)的四分之一很多存儲(chǔ)帶寬瓶頸一下子就解開(kāi)了。這三個(gè)問(wèn)題量化都能從根上緩解。所以它不只是“省內(nèi)存的小技巧”而是端側(cè)部署繞不開(kāi)的核心手段。1.2 量化的本質(zhì)一次帶精度的“單位換算”量化聽(tīng)起來(lái)高大上其實(shí)本質(zhì)就是一次單位換算。我用一個(gè)生活化的類(lèi)比FP32 相當(dāng)于一臺(tái)高精度電子秤能精確到 0.1 克INT8 相當(dāng)于一把帶刻度的量杯只有 256 個(gè)刻度。你不可能用量杯稱(chēng)出電子秤那么精細(xì)的值但只要量程設(shè)計(jì)得合理絕大多數(shù)東西都能量個(gè)八九不離十。數(shù)學(xué)上量化就是把浮點(diǎn)數(shù)值映射到整數(shù)。假設(shè)浮點(diǎn)數(shù)的范圍是 [r_min, r_max]目標(biāo)整數(shù)范圍是 [q_min, q_max]比如 INT8 就是 [-128, 127]。量化公式長(zhǎng)這樣q clamp(round(r / S) Z, q_min, q_max)其中 S 是縮放因子Z 是零點(diǎn)。反量化則是r ≈ S * (q - Z)S 和 Z 怎么算也很好理解S (r_max - r_min) / (q_max - q_min) Z round(q_min - r_min / S)舉一個(gè)具體例子。假設(shè)某層權(quán)重范圍是 [-1.28, 1.27]要量化到 INT8那么 S (1.27 - (-1.28)) / (127 - (-128)) 2.55 / 255 ≈ 0.01Z round(-128 - (-1.28) / 0.01) 0。 這時(shí)候權(quán)重里的 0.14 就會(huì)變成 q round(0.14 / 0.01) 0 14反量化回來(lái)就是 0.14。整個(gè)過(guò)程相當(dāng)于確定了“1 個(gè)整數(shù)刻度代表多大的浮點(diǎn)數(shù)”然后做一次四舍五入。這里的核心矛盾在于量化一定會(huì)引入精度損失因?yàn)?round 這一步把信息丟了。好的量化方案就是要讓這個(gè)損失盡量不影響最終任務(wù)指標(biāo)。1.3 換來(lái)的收益和付出的代價(jià)量化帶來(lái)的收益非常直接。模型體積通常能變成原來(lái)的四分之一因?yàn)?32 位變 8 位推理延遲在很多整數(shù)加速單元上能降低一半甚至更多內(nèi)存占用和能耗也會(huì)顯著下降。這些收益在端側(cè)設(shè)備上比在服務(wù)器上更突出因?yàn)榉?wù)器本身算力富裕省下來(lái)的時(shí)間未必明顯但芯片資源緊缺時(shí)差距就是“能跑”和“跑不動(dòng)”的區(qū)別。代價(jià)也沒(méi)法回避。首先是精度可能掉點(diǎn)尤其對(duì)于小模型、檢測(cè)任務(wù)或者分布特別集中的層掉點(diǎn)會(huì)更明顯。其次是量化得做額外的工作至少你得準(zhǔn)備校準(zhǔn)數(shù)據(jù)、做精度對(duì)比實(shí)驗(yàn)。最后是兼容性不是每一層、每個(gè)算子都能被量化工具無(wú)縫處理有些層的計(jì)算在整數(shù)域里很麻煩可能需要回退到浮點(diǎn)。所以我的建議是不要一上來(lái)就把量化當(dāng)銀彈。先搞清楚瓶頸在內(nèi)存、算力還是帶寬再?zèng)Q定要不要量化、量化到多少位。2. 先別急著動(dòng)手量化方案和關(guān)鍵概念怎么選2.1 PTQ 與 QAT訓(xùn)練后量化還是量化感知訓(xùn)練量化方案按“什么時(shí)候做”分成兩大類(lèi)訓(xùn)練后量化 PTQ 和量化感知訓(xùn)練 QAT。理解這兩者是邁過(guò)量化的第一道門(mén)檻。PTQ 的做法是模型已經(jīng)訓(xùn)練好了我不動(dòng)訓(xùn)練過(guò)程只拿一部分?jǐn)?shù)據(jù)做“校準(zhǔn)”統(tǒng)計(jì)出每一層權(quán)重的數(shù)值分布算出 S 和 Z然后把模型轉(zhuǎn)成整數(shù)版本。優(yōu)點(diǎn)是快通常幾十分鐘就能跑完缺點(diǎn)是精度損失相對(duì)不可控如果模型原本就很敏感可能掉點(diǎn)嚴(yán)重。這里說(shuō)的校準(zhǔn)意指用一小批真實(shí)數(shù)據(jù)在模型里跑一遍前向記錄每層激活值的分布范圍——激活范圍是從數(shù)據(jù)里統(tǒng)計(jì)出來(lái)的不能憑空猜。QAT 則在訓(xùn)練階段就模擬量化誤差。做法是在模型里插入“偽量化節(jié)點(diǎn)”前向傳播時(shí)把權(quán)重和激活先量化再反量化讓模型在訓(xùn)練過(guò)程中逐漸適應(yīng)這種精度損失權(quán)重會(huì)被優(yōu)化得更加“抗量化”。精度通常比 PTQ 好不少但需要你有訓(xùn)練流程、GPU 資源和時(shí)間成本。我自己的選型經(jīng)驗(yàn)是模型比較大、任務(wù)指標(biāo)容忍度高的場(chǎng)景先試 PTQ如果精度損失在可接受范圍就直接用如果是小模型或者部署到安全敏感的場(chǎng)景直接做好 QAT 的心理準(zhǔn)備。先量化一個(gè)副本跑對(duì)比實(shí)驗(yàn)再?zèng)Q定投不投入訓(xùn)練成本這是最穩(wěn)妥的順序。2.2 對(duì)稱(chēng)量化與非對(duì)稱(chēng)量化零點(diǎn)“歸不歸零”的差別另一組繞不開(kāi)的概念是對(duì)稱(chēng)量化和非對(duì)稱(chēng)量化。區(qū)別就在零點(diǎn)上。對(duì)稱(chēng)量化把浮點(diǎn)范圍映射成對(duì)稱(chēng)的整數(shù)范圍零點(diǎn) Z 強(qiáng)制等于 0公式變成q clamp(round(r / S), q_min, q_max)它的好處是實(shí)現(xiàn)簡(jiǎn)單很多硬件原生支持壞處是如果數(shù)據(jù)分布不對(duì)稱(chēng)比如激活值經(jīng)過(guò) ReLU 之后全是非負(fù)數(shù)范圍 [0, 6.2]對(duì)稱(chēng)量化卻要把 [-6.2, 6.2] 的一段范圍白白浪費(fèi)掉整數(shù)刻度的利用率就低了。非對(duì)稱(chēng)量化則允許零點(diǎn)不為 0可以讓量化范圍貼著真實(shí)數(shù)據(jù)的分布走比如激活范圍 [0, 6.2] 會(huì)映射到 [-128, 127] 的完整區(qū)間量化分辨率更高。代價(jià)是實(shí)現(xiàn)復(fù)雜一點(diǎn)推理時(shí)多一步零點(diǎn)偏移的計(jì)算。實(shí)際落地時(shí)有個(gè)很常見(jiàn)的配置組合權(quán)重用對(duì)稱(chēng)量化激活用非對(duì)稱(chēng)量化。為什么因?yàn)闄?quán)重分布通常圍繞 0 上下展開(kāi)對(duì)稱(chēng)量化浪費(fèi)很少而激活經(jīng)過(guò)各種激活函數(shù)之后往往帶偏移用非對(duì)稱(chēng)量化更合適。當(dāng)然這只是經(jīng)驗(yàn)配比具體要對(duì)齊目標(biāo)硬件支持情況。2.3 校準(zhǔn)粒度per-tensor、per-channel 與 per-group很多人第一次接觸量化時(shí)不理解為什么還要區(qū)分 per-tensor 和 per-channel。說(shuō)白了就是一個(gè)網(wǎng)絡(luò)層里是一整套參數(shù)共用一個(gè) S還是每個(gè)輸出通道單獨(dú)用一個(gè) S。per-tensor 最簡(jiǎn)單整層權(quán)重算一個(gè)統(tǒng)計(jì)范圍計(jì)算量小硬件實(shí)現(xiàn)也方便。問(wèn)題是卷積層的不同輸出通道權(quán)重?cái)?shù)值分布可能差異很大。想象一下一個(gè)通道權(quán)重范圍是 [-1.28, 1.27]另一個(gè)通道范圍是 [-0.01, 0.01]如果共用同一個(gè) S第二通道的小數(shù)值會(huì)幾乎全部被“壓”成同一個(gè)整數(shù)信息幾乎全丟。per-channel 則是每個(gè)輸出通道計(jì)算自己的 S 和 Z相當(dāng)于給每個(gè)通道單獨(dú)配了一把刻度合適的“量尺”精度會(huì)好很多這是目前 CNN 量化里非常實(shí)用的做法。代價(jià)是部分硬件不支持或者在某些算子實(shí)現(xiàn)里會(huì)引入額外的計(jì)算開(kāi)銷(xiāo)。后來(lái)還有個(gè)折中方案 per-group即把參數(shù)分成幾個(gè)組每組一個(gè)量化刻度。它比 per-tensor 精細(xì)比 per-channel 靈活在部分低比特量化場(chǎng)景里很流行。選粒度的時(shí)候先看硬件支持列表再看精度對(duì)比結(jié)果別只看理論精度。2.4 校準(zhǔn)方法min-max、百分位與 KL 散度剛才一直提到校準(zhǔn)其實(shí)就是確定浮點(diǎn)范圍 [r_min, r_max] 的過(guò)程。范圍選得越準(zhǔn)量化精度越好。這個(gè)環(huán)節(jié)常用三種辦法。min-max 最簡(jiǎn)單直接取校準(zhǔn)數(shù)據(jù)里觀測(cè)到的最大值和最小值。它的弱點(diǎn)是對(duì)離群點(diǎn)非常敏感如果某個(gè)樣本的激活值突然冒出一個(gè)超大值整個(gè)量化范圍被拉寬大部分?jǐn)?shù)據(jù)的分辨率就會(huì)被稀釋。百分位法比 min-max 穩(wěn)一些取觀測(cè)分布的第 0.01 或 0.001 百分位作為邊界主動(dòng)忽略極端異常值減少離群點(diǎn)的影響。代價(jià)是需要緩存足夠的統(tǒng)計(jì)量計(jì)算分布。KL 散度法更講究它的思路是在給定整數(shù)精度下找一個(gè)最優(yōu)截?cái)嚅撝底屃炕昂蟮姆植疾町愖钚 :芏嘀髁鞴ぞ叩男?zhǔn)方式就是基于 KL 散度。使用它的時(shí)候校準(zhǔn)數(shù)據(jù)集和分布選擇對(duì)結(jié)果影響更大樣本越有代表性效果越好。我個(gè)人的理解是min-max 適合快速驗(yàn)證百分位法適合直覺(jué)調(diào)整KL 散度適合作為默認(rèn)選擇。在實(shí)操里可以在同一份校準(zhǔn)集上分別跑一遍比較驗(yàn)證集精度來(lái)定。3. 實(shí)操記錄從 FP32 到 INT8 的完整流程3.1 先搭最小驗(yàn)證閉環(huán)講完概念接下來(lái)是動(dòng)手環(huán)節(jié)。我強(qiáng)烈建議不要一上來(lái)就接項(xiàng)目里的完整生產(chǎn)鏈路而是先搭一個(gè)最小驗(yàn)證閉環(huán)模型、校準(zhǔn)集、量化工具、評(píng)估腳本四樣?xùn)|西齊了就開(kāi)跑。我這里以某開(kāi)源深度學(xué)習(xí)框架配合常見(jiàn)推理工具鏈為例主要用示意圖代碼表達(dá)流程因?yàn)椴煌姹?API 名稱(chēng)會(huì)有差異但步驟高度一致。整體流程就是加載 FP32 模型 → 準(zhǔn)備校準(zhǔn)數(shù)據(jù) → 配置量化參數(shù) → 跑校準(zhǔn) → 導(dǎo)出量化模型 → 對(duì)比評(píng)估。model load_model(model.pth) # 加載原始 FP32 模型 calib_loader build_calib_loader(data_dir, count500) # 準(zhǔn)備校準(zhǔn)數(shù)據(jù) quant_model prepare_ptq(model, calib_loader) # 進(jìn)入量化模式 quant_model.calibrate() # 執(zhí)行校準(zhǔn)統(tǒng)計(jì)范圍 quant_model.export(formatint8) # 導(dǎo)出量化模型 fp32_metric evaluate(model, val_loader) int8_metric evaluate(quant_model, val_loader) print(FP32 top-1:, fp32_metric[top1]) print(INT8 top-1:, int8_metric[top1])這段流程短但信息量不少。prepare_ptq 不只是把模型“變成”量化模式它還會(huì)把一些算子融合比如把卷積和后面的 ReLU 合并成一個(gè)算子減少計(jì)算和內(nèi)存訪問(wèn)calibrate 階段會(huì)跑幾次前向統(tǒng)計(jì)每層的激活分布并據(jù)此確定縮放因子。3.2 校準(zhǔn)集準(zhǔn)備別用訓(xùn)練集硬湊校準(zhǔn)集就是用來(lái)統(tǒng)計(jì)激活值分布的那一批數(shù)據(jù)很多人在這里翻車(chē)。第一不要直接拿訓(xùn)練集來(lái)校準(zhǔn)。訓(xùn)練集和真實(shí)推理場(chǎng)景的數(shù)據(jù)分布不一定一致而且訓(xùn)練集通常做了大量數(shù)據(jù)增強(qiáng)統(tǒng)計(jì)出來(lái)的分布會(huì)“更寬”導(dǎo)致量化分辨率被稀釋。我一般從驗(yàn)證集里均勻抽 500 到 1000 張圖片或樣本盡量覆蓋真實(shí)場(chǎng)景中的各種典型情況。第二樣本數(shù)量不用太多但要足夠“雜”。有人覺(jué)得越多越好其實(shí)校準(zhǔn)數(shù)據(jù)和訓(xùn)練不一樣它只統(tǒng)計(jì)分布范圍。500 張代表性樣本通常就夠了再多意義不大。關(guān)鍵是覆蓋面要廣比如明暗、大小、遠(yuǎn)近、不同類(lèi)別都要有。如果校準(zhǔn)集只有“晴天”的圖片部署時(shí)來(lái)了“雨夜”的數(shù)據(jù)分布一偏量化精度就會(huì)出問(wèn)題。第三校準(zhǔn)前要把數(shù)據(jù)預(yù)處理流程對(duì)齊推理時(shí)的流程。歸一化參數(shù)、尺寸縮放這些不一致的話校準(zhǔn)出來(lái)的是另一個(gè)分布。3.3 量化與導(dǎo)出一天內(nèi)跑通第一個(gè)量化模型跑通第一個(gè)量化模型的目標(biāo)應(yīng)該是一天內(nèi)完成不要拖。對(duì) PTQ 來(lái)說(shuō)大多數(shù)配置都有默認(rèn)參數(shù)我的建議是先用“比較穩(wěn)”的一組默認(rèn)參數(shù)跑通per-channel 權(quán)重量化、非對(duì)稱(chēng)激活量化、KL 散度校準(zhǔn)。先不管極致精度拿到量化前后精度對(duì)比再說(shuō)。導(dǎo)出模型時(shí)注意兩個(gè)事情。一是要確認(rèn)工具鏈導(dǎo)出的是不是“真量化”。有些時(shí)候?qū)С龅哪P椭皇前褭?quán)重從浮點(diǎn)轉(zhuǎn)成了整數(shù)但計(jì)算時(shí)還是會(huì)“反量化回浮點(diǎn)來(lái)算”這種叫偽量化速度提升非常有限。真正的整數(shù)推理是整個(gè)計(jì)算圖盡量都保持在整數(shù)域里運(yùn)算。你可以通過(guò)工具鏈的 profile 功能看每一層實(shí)際執(zhí)行的數(shù)據(jù)類(lèi)型一眼就能識(shí)別。二是保留 FP32 的原始模型不要覆蓋。量化模型只是部署產(chǎn)物后續(xù)調(diào)參、定位問(wèn)題都需要原模型。我見(jiàn)過(guò)有人把原模型直接覆蓋掉最后只能從 git 歷史里翻非常被動(dòng)。3.4 精度評(píng)估量化前后到底差多少評(píng)估是量化流程里最容易糊弄的環(huán)節(jié)。這里的核心是必須用和上線一致的數(shù)據(jù)和指標(biāo)來(lái)對(duì)比。分類(lèi)任務(wù)看 top-1、top-5檢測(cè)任務(wù)看 mAP分割任務(wù)看 mIoU如果是特征提取模型可以看特征向量的余弦相似度。不要只用 loss 值判斷l(xiāng)oss 的絕對(duì)值下降看不出任務(wù)層面的影響。評(píng)估時(shí)還要注意FP32 和 INT8 模型要跑同一份驗(yàn)證集、同樣的預(yù)處理、同樣的 batch size。我曾見(jiàn)過(guò)同事對(duì)比時(shí)一個(gè)用了原始尺寸一個(gè)用了縮放后的尺寸結(jié)果精度差異根本不是量化造成的。如果量化前后指標(biāo)差距在 0.5% 以?xún)?nèi)通常直接上線超過(guò) 1%就要去做敏感層定位了??梢园蚜炕`差大的層單獨(dú)回退到 FP32看指標(biāo)能否恢復(fù)借此找到需要混合精度的層。4. 摸爬滾打后總結(jié)的常見(jiàn)坑位4.1 精度掉點(diǎn)到底是誰(shuí)的鍋精度掉點(diǎn)是最常見(jiàn)的現(xiàn)象但背后的原因五花八門(mén)。我排查時(shí)有個(gè)固定順序先看校準(zhǔn)集再看敏感層最后看量化配置。校準(zhǔn)集不代表性是最容易出問(wèn)題的地方。如果校準(zhǔn)數(shù)據(jù)和真實(shí)數(shù)據(jù)分布存在差異統(tǒng)計(jì)出的范圍就不準(zhǔn)。簡(jiǎn)單驗(yàn)證方法是換一批校準(zhǔn)數(shù)據(jù)重新跑一遍如果精度波動(dòng)很大說(shuō)明校準(zhǔn)集沒(méi)選好。敏感層問(wèn)題也常見(jiàn)。有些網(wǎng)絡(luò)層對(duì)量化特別不友好比如檢測(cè)任務(wù)里的回歸頭、分割任務(wù)的上采樣層、注意力機(jī)制里的 Softmax 與矩陣乘這些層稍微量化一下就會(huì)放大誤差。定位方法很簡(jiǎn)單逐層或者逐塊做量化回退實(shí)驗(yàn)把某一層保留 FP16其他層量化看誰(shuí)對(duì)精度影響最大。找到敏感層之后配合混合精度方案解決。還有一種情況是量化配置本身不合理。比如激活用對(duì)稱(chēng)量化、權(quán)重用非對(duì)稱(chēng)量化又比如 per-tensor 在通道差異大的層上用了都會(huì)造成額外損失。把配置切換成 per-channel 權(quán)重、非對(duì)稱(chēng)激活通常就能改善。4.2 校準(zhǔn)集和真實(shí)場(chǎng)景分布不一致這個(gè)問(wèn)題在部署后才會(huì)暴露——量化時(shí)驗(yàn)證集精度挺正常一上真實(shí)環(huán)境就掉點(diǎn)。典型的例子是圖像分類(lèi)模型在校準(zhǔn)時(shí)只用了室內(nèi)光線數(shù)據(jù)上線后遇到戶外強(qiáng)光、夜間低光分布直接漂移。解決思路有兩個(gè)方向。一是讓校準(zhǔn)集更貼近真實(shí)分布盡量從線上日志或代表性場(chǎng)景里采集樣本如果做不到考慮做一定程度的數(shù)據(jù)增強(qiáng)再校準(zhǔn)。二是給模型保留少量“靈活性”比如把輸入輸出層或?qū)Ψ植济舾械膶恿粼诟呔茸屨w模型對(duì)分布漂移不那么敏感。另外提醒一句量化模型的分布漂移比 FP32 模型更劇烈。因?yàn)楦↑c(diǎn)模型對(duì)輸入分布的容忍度高量化后每個(gè)值都經(jīng)過(guò)了刻度映射分布一偏就可能導(dǎo)致大量值落在一個(gè)較差的量化區(qū)間里。4.3 量化后速度反而更慢很多人第一次量化后會(huì)困惑模型變小了為什么推理時(shí)間沒(méi)有變短甚至更長(zhǎng)了這種情況通常是“量化沒(méi)有真正落地”。第一種可能是硬件不支持整數(shù)加速算子。有些平臺(tái)對(duì) INT8 卷積有優(yōu)化但對(duì) INT8 的某些激活函數(shù)、上采樣、拼接操作沒(méi)有原生支持于是推理引擎只能把數(shù)據(jù)“反量化回浮點(diǎn)”來(lái)計(jì)算算完再“量化回去”。來(lái)回轉(zhuǎn)換的開(kāi)銷(xiāo)可能比省下來(lái)的還大。方案是檢查 target 平臺(tái)的算子支持表盡量把不支持算子回退到 FP16而不是跟著整個(gè)網(wǎng)絡(luò)一起轉(zhuǎn) INT8。第二種可能是模型太小帶寬收益不明顯。對(duì)于已經(jīng)很小或計(jì)算量很低的模型量化的主要收益是體積和內(nèi)存推理速度未必有質(zhì)的提升。量化一個(gè)非常輕量的分類(lèi)模型經(jīng)常出現(xiàn) INT8 和 FP32 差不多的情況因?yàn)楹臅r(shí)大頭可能在預(yù)處理或者數(shù)據(jù)搬運(yùn)。第三種可能是高層 API 默認(rèn)配置不適合當(dāng)前芯片。有些推理引擎需要手動(dòng)指定“推理設(shè)備”和“精度策略”如果默認(rèn)策略是 FP32你量化了個(gè)寂寞。性能調(diào)優(yōu)時(shí)必須看 profiler 輸出確認(rèn)實(shí)際跑起來(lái)的每一層是什么精度。4.4 算子不支持導(dǎo)致的“偽量化”偽量化是一個(gè)隱蔽的坑。從模型文件看權(quán)重是 INT8 了但推理引擎拿到之后先把權(quán)重反量化成浮點(diǎn)再用 FP32 計(jì)算最后輸出。表面上是量化模型實(shí)際上計(jì)算沒(méi)有省。出現(xiàn)這種情況往往是不支持某些自定義算子、某些動(dòng)態(tài)形狀的分支、或者注意力類(lèi)算子。排查辦法就是前面提過(guò)的 profiler看每一層的實(shí)際執(zhí)行精度。如果發(fā)現(xiàn)某幾層全部是 FP32那它們就是干掉性能的元兇。處理方式分為幾類(lèi)一是用算子融合把不支持的算子合并到支持的操作里二是把不支持的層調(diào)度到浮點(diǎn)通道混合執(zhí)行三是修改模型結(jié)構(gòu)用更友好的算子替換。多數(shù)情況下混合精度方案足夠解決問(wèn)題不必為了讓整個(gè)模型“全 INT8”而大改結(jié)構(gòu)。5. 進(jìn)階玩法混合精度與量化邊界5.1 混合精度讓敏感層留在高精度當(dāng)全模型 INT8 精度不達(dá)標(biāo)時(shí)下一步通常就是混合精度也就是讓某些層保持 FP16 甚至 FP32其余層走 INT8。相比全量化混合量化通常在精度和速度之間取得比較好的平衡。怎么決定哪些層保留高精度我的經(jīng)驗(yàn)是先對(duì)關(guān)鍵層做精度實(shí)驗(yàn)再結(jié)合 profiler 看哪些層延遲占比高。延遲占比高、量化誤差小的層優(yōu)先量化延遲占比低、但對(duì)精度影響大的層就保留高精度。理論上這樣性?xún)r(jià)比最高。輸入輸出層也值得單獨(dú)考慮。輸入層的通道數(shù)少、計(jì)算量小量化與否對(duì)速度影響不大但保留 FP32 往往能讓模型對(duì)輸入分布變化更穩(wěn)健。輸出層同理直接決定最終數(shù)值質(zhì)量。另外混合精度方案的“整數(shù)/浮點(diǎn)切換”會(huì)產(chǎn)生一定的轉(zhuǎn)換開(kāi)銷(xiāo)所以不要把模型切得太碎。一般以模塊為單位切比如某個(gè)殘差塊整體走 INT8某個(gè)檢測(cè)頭整體走 FP16減少切換次數(shù)。5.2 量化和剪枝、蒸餾怎么配合在部署優(yōu)化這個(gè)領(lǐng)域量化經(jīng)常不是單獨(dú)使用的。模型壓縮有三大件剪枝、蒸餾、量化它們可以疊加使用。剪枝是把不重要的連接或通道刪掉減少計(jì)算量量化是在剩余結(jié)構(gòu)上進(jìn)一步降低精度。這兩者疊加時(shí)有個(gè)順序問(wèn)題一般建議先剪枝再量化。剪完的模型更小量化后的精度損失也可能更小但剪枝比例過(guò)大會(huì)讓模型變得過(guò)于脆弱量化掉點(diǎn)反而更嚴(yán)重。蒸餾則是用一個(gè)大模型“教”一個(gè)小模型。如果蒸餾和量化一起用可以在訓(xùn)練階段就讓小模型適應(yīng)量化誤差通常做法是teacher 是 FP32 大模型student 是量化感知訓(xùn)練的小模型這樣訓(xùn)練出來(lái)的模型精度往往比“先普通訓(xùn)練再量化”好很多。如果你做 QAT可以順便把蒸餾損失加上幾乎不增加太多訓(xùn)練成本但精度提升明顯。5.3 低比特量化的現(xiàn)實(shí)約束INT8 是目前最主流的量化位寬因?yàn)榻^大多數(shù)硬件對(duì)其支持最成熟。但最近 INT4、甚至混合的 INT4/INT8 方案也逐漸變多主要是為了進(jìn)一步壓內(nèi)存和帶寬。INT4 帶來(lái)的體積收益更誘人但現(xiàn)實(shí)約束不小。一是硬件支持參差不齊很多平臺(tái)對(duì) INT4 乘法的加速能力有限甚至根本沒(méi)有二是精度損失顯著一般需要更強(qiáng)的 QAT 手段和更復(fù)雜的混合精度策略來(lái)兜底。有人會(huì)在權(quán)重上試 INT4在激活上保留 INT8也算一種折中方案。我個(gè)人建議除非目標(biāo)硬件明確支持且你的任務(wù)精度寬容度很高否則先老老實(shí)實(shí)把 INT8 做扎實(shí)。低比特是優(yōu)化方向不是默認(rèn)選項(xiàng)。先把 INT8 的校準(zhǔn)、混合精度、算子融合這些都調(diào)明白了再去試低比特才有意義。最后分享一點(diǎn)個(gè)人體會(huì)。量化這件事入門(mén)門(mén)檻并不高幾行配置就能跑通一個(gè) PTQ但真正把它調(diào)好需要對(duì)模型結(jié)構(gòu)、數(shù)據(jù)分布和底層硬件都有理解。我踩過(guò)最深的坑從來(lái)不是公式看不懂而是校準(zhǔn)集隨便準(zhǔn)備、量化配置照抄默認(rèn)、評(píng)估不做對(duì)齊——這三個(gè)問(wèn)題不解決量化結(jié)果就是碰運(yùn)氣。如果你正在做部署項(xiàng)目建議花點(diǎn)時(shí)間把“校準(zhǔn)集怎么選”“敏感層怎么找”“profile 怎么看”這三件事挨個(gè)實(shí)踐一遍之后遇到量化問(wèn)題都會(huì)順很多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久久婷丁香五月| 久久五月天婷婷| 婷婷久久在线| 嫩BBB搡BBBB榛BBBB| 婷婷五月激情丁香激情| 国产无人区大片| 大香网伊人久久综合| 99热99精品在线观看| 婷婷丁香精品视频在线观看| 激情五月婷婷| 五月天激情图片| 色必久悠悠影院| WWW色色色COM| 欧美色片中文字幕久久久久| 狠狠插狠狠操| 噜啊噜在线| 99热6这里之有精品| 九九综合五月欧美| 婷婷五月天A V| 操操国产| 日韩av在线免费观看| 人人人人人人人人人草| 五月丁香色情| 日本啪啪天堂| 亚洲成人网站在线播放| 一级黄色操B| 亚洲色网址| 99色色色色| 99免费成人网| WWW.99热| 婷婷久久天堂网| 99激情视频| 99爱在线免费视频| 人草人人| 人人人va亚洲视频在线| 丁香激情六月天婷婷| 日本在线视频看se99| 亚洲精品成人| 97久久人人操| 色色丁香五月天| 婷婷五月深爱五月| 久久这里只有欧美| 久久这里有精品视频在线免费观看| 国产激情久久久| 91丨九色|PRNY熟妇| av中文字幕免费观看| 色婷婷五月天偷拍| 婷婷五月在线观看| 丁香激情五月| 精品人妻在线免费观看| 伊人99久久| 五月婷婷丁香| 另类在线免费视频| 任你搞在线观看视频| 亚洲日韩成人三级av| 婷婷亚洲综合| 日韩黄在免| 狠狠干综合| 99久久99久久综合| 中文字幕黄色片| 激情综合久久| 激情五月天网| 婷婷五月激情四射手| 91碰碰碰| 97碰碰草| 精品久热69| 九九综合网色全集| 九九综合久久| 99热九九在线| 国产午夜一区二区三区| 国産精品| 亚洲成人网站在线观看| 99亚洲精品综合在线| www,黄色在线,con| 97婷婷狠狠久久综合9色| 一区二区传媒视频| 一区二区三区视频| 99色看| 激情五月,深深爱五月| yazhouzonghesese| 在线观看婷婷5月| www.婷婷五月天.com| 丁香五月欧美午夜视频| 亚洲色视频| 天天干夜晚夜操| 色很久综合| 极品五月天| 色色色五月| 色婷成人狠干| 五月天免费色| 久婷婷婷| 玖玖99婷婷| 久久久久久久久久久jjjj| 极品五月天| 色婷婷久久综合久色综| 狠色狠色狠色狠色狠色网| 天天舔天天插天天干| 九九九九这里只有精品| 色99在线观看| 91制片厂久久久国产电影| 亚洲婷婷丁香五月| 五月婷婷丁香成人网| 婷婷黄色五月天在线视频| 婷婷色五月久久| 天天干com| 天天爱天天做天天| 婷婷91视频| 蜜桃婷婷狠狠久久综合| 美女要搞搞天天搞搞搞网站| 天堂网啪啪| 激情婷婷丁香| 五月天婷婷社区久久综合| 婷婷九月色| 丁香五月婷婷色五月| 婷婷五月天开心激情网| 成片免费播放| 日本不卡中文字幕| 激情深爱综合网| 91超级碰| 五月香婷婷| 人人人va亚洲视频在线| 天天干,天天日| 第五婷婷伊人丁香| 色婷婷社区| 丁香婷婷社区| 婷婷99视频精品| 婷婷狠狠五月综合| 最近韩国日本免费高清观看| 变态另类9| 色五月开心开心五月激情五月| 久久538| 日韩成人网址| 免费黄色片子| 99久.| 欧美A片在线视频免费观看| 色婷婷导航| 五月停停激情网| 五月丁香六月色| 婷婷性爱视频在线| 天天婷婷综合亚洲亚洲| 五月综合激情网| 久久99激情| 99热日| 日逼AV影音先锋男人资源站| 亚洲第一色色色色| 中文字幕日产A片在线看| 婷婷激情人妻| 91九色丨国产丨爆乳| av五月天婷婷丁香| 综合激情视频| 亚洲无码yw| 天天综合社区| 婷婷色五月天色| 五月色天五月色| 丁香五月综合| 袁子仪视频观看| 五月天精品视频| 精品99在线| 无人精品在线视频| 久久久.COM| 思思热在线视频精品| 日曰躁夜夜躁2026| 美国色五月天婷婷资源站| 中文字幕丰满孑伦无码专区| 五月丁香婷婷伊人| 九九热99在线视频| 一级精品999WWW| 六月丁香停| 婷婷六月综合激情| 九九精品9| 五月丁香青草综合啪啪| 色婷婷综合在线| 婷婷五月情天| 成人av在线网址| 丁香综合婷婷五月天| 97成人丁香| 情涩婷婷五月天| 日本色色视频| 五月天婷婷AV| Xx色综合| AV人人操| www色中色综合| 大香蕉福利导航| 天天摸天天日天天舔| 国产av网| 亚洲99综合| 伊人久久婷| 丁香五月天啪啪| 玖玖在线视频福利| 最新无码专区| 5月丁香婷婷激情网| 野外99热| 九九在线精点品| 天天操天天爽天天爱| 色狠狠色噜噜AV天堂五区| 天天cha成人综合网| 99热网精品| 热久视频| 精品九九在线观看视频| 99色热综合| 色99网| 色欲久久久久久综合网综合网| 狠狠人妻色综合| 久久精品性爱视频,| 九九热在线精品视频| 99爱免费视频在线观看| 国产成人+综合亚洲+天堂| 丁香五月性| 久热a| 日本精品干| 丁香婷婷深情五月亚洲| Www.狠狠| 激情精品久久| 亚洲天堂爱爱| 日韩无码性爱| 综合色在线| 丁香五月成人av| AV在线大香蕉| 亚洲性爱AV在线| 播五月丁香三月婷婷| 色色五月天激情| 操97在线观看| 色婷婷综合网| 九九激情| 69激情小说| 色婷婷成人网| 免费观看2018www黄色操逼网站| 超碰人人干| 麻豆123区| 91肏| 天堂久久大香蕉| www超碰| 综合久久99| 开心婷婷五月天电影院| 91丁香五月| 丁香婷婷九月在线| 五月丁香六月激情综合| 激情综合网五月天| 婷婷色中文字幕| 婷婷五点亚洲| 青草热视频这里只有精品| 色欲天天综合| 色综合久久88色综合天天看| 五月天怕怕| 99精品偷自拍| 熟女人妻一区二区三区免费看| 综合99久久天天综合| 婷婷综合激情五月综合| 人妻操逼| 青青草蜜臀| 99激情网| 久久婷婷五月综合色奶水99啪| 任你弄在线视频免费| 五月天综合在线| 欧美三日本三级少妇三99| 色婷婷丁香| 99在线视频精品| 五月丁欧美| 开心五月婷婷婷美女| 久久久精品免费啪啪国| 婷婷色五月综合| 丁香六月激情综合| 欧美成人精品A片免费一区99| 99啪啪视频| 婷婷五月色播| 色婷婷的五月天| 99热最新网址| 色丁香五月| 好激情在线综合网| 色五月婷婷基地| 五月丁香欧美综合| 色五月av| 婷婷久草| 亚洲无AV在线中文字幕| 六六久久黄色| 婷婷99丁香| 婷五月天| 99热爱爱干干日| 99ri在线观看视频| 天堂爱爱| 激情婷婷丁香色五月| 婷婷六月久久| 婷婷另类小说| 996热| 婷婷综合色| 超碰色综合| www.99久久久| 色婷婷五月天偷拍| 久久五月天激情| av婷婷丁香| 九九九九中文字幕| 久久99视频| 综合激情网五月激情 | 乱乱av| 韩日另类| 五月婷婷深深爱| 99热大香蕉| 永久的网站AAAA| 亚洲综合九九| 这里只有精品在线免费视频| 欧美日韩成人一区二区| 噼里啪啦在线观看免费完整版视频 | 久草xx性爱视频| 五月天色视频| 超碰在线看| 五月婷婷综合在线| 99热这里都是精品| 久久9999| 五月综合婷婷网| 精品五月天| 色噜噜狠狠色综合成人99| 人人摸人人摸| 五月婷中文娱乐综合| 久久久久久97| 婷婷五月丁香久久| 丁香五月天激情综合| 国产成人AV| 久久99久久久| 五月天激情综合网站| 激情综合网激情五月丁香| 日本婷婷五月天| 99色综合| 九九热这里只有精品12| 婷婷综合色色| 丁香综合久久| 99久久成人| 激情中文在线| 蒲京久久无码视频| 色之综合网| 日日日日操| 丁香五月天婷婷激情| chaopeng在线人人| 亚州精品色情在线观看| 婷婷色在线观看| 国产干逼片| 日本WWW九九九| 亚洲综合五月天综合| 91色综合网| 熟妇国产| 性爱电影科技贸易有限公司| 婷婷五月激情综合| 丁香五月天狠狠操| www.henhengan| 色婷婷六月| 天堂成人久久| 婷婷五月激情图片| 婷久久久| 深爱激情网噜噜色| 丁香婷婷六月激情文学| 九九久热| 6 9式性爱视频在线播放| 日本五月丁香| 九九热在线精品视频| 色婷婷久久综| 99九九热视频| 国产精品视频网| 啪啪啪五月天| 激情98色婷婷五| 新久久五月天激情| 激情六月丁| 婷婷欠久少妇| 色婷婷丁香五月天激情综合网| 久久丁香| 99re这里只有精品9| 色综合中文| 亚洲AV无码一区二| 丁香五月综合激情性爱| 玖玖婷婷色五月| www天天色天天射| 亚洲综合网在线| 亚洲俩性性爱图片久久第六页| 狠狠爱综合| 久久婷婷五月综合激情国产| 欧美激情综合色综合啪啪五月| 欧美日韩一区二区三区四区| VfJxEwPH| 九色七七| 色综合五月| 99 r热| 亚洲成人免费电影| 777.色色| 伊人色综合网| 99热精品9| 不卡成人免费| 五月综合视频| 99久久亚洲精品视频| 人妻熟妇国产精品| 天天日日夜夜爽| 丁香婷婷深情五月亚洲| 六月婷伊人| 任你躁XXXXX麻豆精品| 手机AVAV天堂看网| 第1影院之五月婷婷| www,天天干| 99热资源在线| 99天堂网| 丁香五月狠狠在线观看| 亚洲另类视频| 七七色色综合| 亚洲激情网| 日韩砖区| 丁香五月婷婷影院| 欧美精品999| 丁香五月精品视频| 最新国产AV| 天天插天天日| 五月丁香六月婷婷,婷| 人与禽A片啪啪| 毛片色五月| 人人性久久| 99综合网| 天天日夜夜高潮| 五月Huangsewang| 国产婷婷色综合AV蜜臀AV| 日韩精品超碰在线观看| 无码激情AAAAA片-区区| 丁香五月激情网| 超碰在线人妻| 99国产99| 亚洲激情四射| 97碰碰视频| 九九sese| 日本啪啪网| 久久九九网| www.五月天社区| 天天操婷婷| 丰满少妇猛烈A片免费看观看| 激情欧美五月丁香| 婷婷五六月丁香| 精品视频网| 婷婷五月丁香五月| 欧美色色色色色色色色色色| 这里只有精品9| 第四色激情网| 五月婷婷丁香| 开心五月激情婷婷| 狠狠色婷婷777| Aaa久久| 婷婷久月| 久久五月天婷婷| 久1色色| 久9精品| 夜夜嗨一区二区三区直播内容 | av在线播放网站| 超碰三级片| 久久综合天天综合| 五月婷婷色色| 99超级碰碰| 色综合久久久无码中文字幕999| 超碰免费成人| 五月婷婷在线观看黄| 婷婷丁香五月天色区| 性色婷婷| 婷婷五月精品中文字幕| 99色在线视频观看| 碰人人97| 丁香五月婷婷综合激情哟哟哟| 亚洲成人在线免费| 97色啪| 天天综合天综合| 第六色在线| www。五月天激情| BT综合在线视频观看| 婷综合六月| 九九Av| 天天久久狠狠色综合| 激情婷婷五月天| 操逼在线视频| 亚洲色色精品| 色天天综合| 99爱视频精品在线观看| 97色婷婷| 亚洲中文丁香| 九九热这里都是精品6| 婷婷综合久久| 激情深爱婷婷网| 91天天操天天干天天射| 久久最新色| www.99热精品| 日本三级中国三级99| 五月天婷婷色色网| 99热都是精品| 99精品视频在线6| 伊人五月天男人的天堂在线| 色色影院aaaav| 九九碰九九爱97超| 久碰视频| 色情婷婷| 大香蕉综合视频在线| 麻豆WWWCOM内射软件| 欧美搡BBBBB摔BBBBB| 国色天香成人网| 超碰成人公开| 亚洲在线成人| 国产免费一区二区三区三州老师F1F1.CC| 色婷婷操逼网| 成人看片网站| 丁香六月天婷婷在线| 五月婷婷狠天天色综合| 丁香五月在线观看完整版| 五月丁香欧美在线| 看片视频在线免费日产在线看| 亚洲人妻五月丁香婷婷| 丁香婷婷六月| 色色色综合| 久久久天堂国产精品女人| 狠狠精品干练久久久无码中文字幕| 午夜69成人做爰视频| 色色欧美。| 亚洲天堂制| 黄色片精品| 99久久精| 狠狠操婷婷| 9热在线观看| 丁香六月激情| 精品一区二区三区三区| 青草青草久热这里只有精品| 婷婷开心综合人妻小说网址| 99热综合色图| 少妇人妻人伦A片| 九九热青青草| 婷婷综合网在线| 99热这里只有精品在线播放| 婷婷五月天影视首页| 99热超碰| 69精品无码一区二区三区| 亚洲综合视频网| 五月视频日本免费观看| 开心五月婷婷| 色噜噜丁香| 另类综合激情| 99性爱视频网站| 婷婷五月丁香基地| 97色视频网| 天天日天天干天天爱| 五月天社区狠狠| 亚洲不卡| 99九九免费精品| 色一情一乱一乱一区91Av| 少妇综合网| 人妻中文字幕精品| 天天网站天天爽| 天天在线XXX| 精品无码久久久久久久久| 久热亚洲| 婷婷五月天性| 九九综合久久| 国产综合视频婷婷| 九九九九这里只有精品| 国产精产国品一二三在观看| 69精品人人人人| 99久在线精品99re8| 能看的av| 青青草原中文字幕| 婷婷丁香九月| 艹色18p| WWW色综合| www.91.com黄| 亚洲无aV在线中文字幕| 久热网站| jiujiuxiangjiaowang| 国产xxxxx在线观看| 俺去也五月天| 久热婷婷在线视频| 五月丁香亚洲婷婷| 99热在线观看成人| 伦乱美欧| 九九aV| 成人短视频在线| 另类小说五月天| 丁香婷婷综合色五月激情国产基地| 婷婷丁香六月激情综合| 国产人妻人伦精品一区二区| 五月丁香六月婷| 超碰97免费在线| 日韩一级网站| 最新va在线播放| 久久久久久久久久久久63| 狠狠插狠狠| 亚洲亚洲人成综合网络| 五月婷深深爱激情网| 日本猛少妇色XXXXX猛叫| 成人网址在线观看| 久久狠狠干| 丁香五月激情综合婷综| 亚洲无线视频| 色综合av超碰| 97色热| 亚洲婷婷91丁香| 久婷久婷| 久热99| 久9久成人精品视频| www.99操.com| 丁五月激情视频免费| 91丨九色丨老农村| 久久久久久激情| 91色久| 99这里有精品视频| 五月婷丁香久久久| 丁香五月天日韩无码| 99青青草| 国产无人区大片| 丁香五月开心亚洲| 婷婷五月激情四月综合 | 激情综合五月| 夜夜骑日日夜夜| 成人AV在线中文版| 亚洲欧美另类在线23p| 一区二区aV电影免费看| 激情综合网五月婷婷| 久久欧洲久久| 搡BBBB搡BBB搡18| 亚洲最大五月六月丁香婷婷| 色天堂97| 啪啪啪综合网| SESE无码AV| 骚五月婷婷| 色爱亚洲| 五月天精品综合| 色欲婷婷五月天丁香| 久99| 色欲资源网| 六月丁香婷婷色狠狠久久| se99视频| 毛片毛片毛片毛片| 99ri在线| 亚洲精品第一国产综合亚AV| 狼人婷婷久久| 另类小说五月天激情| 五月婷婷丁香网| 五月天社区| 丁香五月23111| 丁香五月人妻| 日本黄色三级片内射| 思思精品热在线| 婷婷亚洲影院| 人妻Av在线| 99久久综合| 天天色综合网1| 婷婷伊人綜合中文字幕| 91九色无码内射| 香蕉操亚洲| 无码婷婷五月天| 色色色色色色色色五月先| 久久久天堂国产精品女人| 超碰91人人操| 31色区视频免费看| 成人国产欧美大片一区| 影音先锋91| 五月色精品| 色婷婷五月天中文字幕| 丁香五月婷婷大香蕉| 国产精品99久久久久久久女警 | 在线视频婷婷| 天天色亚洲| 五月丁香在线观看| 996热re视频精品视频这里| 色婷婷电影网| 欧美成人日韩| 国产AV网页| 性色做爰片在线观看WW| 99碰碰| 五月天婷婷基地| 五月丁香婷婷中文网| 99热最新地址在线| 嫩模aV在线| 色情成人五月天| 欧美成人精品A片免费一区99| 九九热av| 91超碰在线播放| 色婷婷六月丁香综合欲精品| 66精品成人免费网站在线观看| 色婷天天| 亚洲小电影在线观看黄999| 操97在线观看| 91色五月在线观看| 色九九中文字幕| 男人操女人高潮91视频| 欧美性做爰大片免费看办公室| 综合色99| 五月丁香| 日韩无码成人电影| 九九热黄色| 亚洲综合久| 亚洲六月色婷婷| 97色色视频| 极品人妻VideOssS人妻| 久久久这里有精品| 日本婷婷| 色婷婷19| 丁香五月大香蕉| 國語久久婷| 久久婷婷综| 亚洲啪啪啪啪| 激情综合五月天| 99亚洲精品| 天天爽天天| 欧美叉叉叉BBB网站| 日产精品久久久久久久蜜臀| 337p大胆噜噜噜噜噜91Av| 久久久婷婷婷| 五月日韩中文字幕| 9l久久久视频| enecarbon-materials.com污K127封锁请涟系@wip1688 | 九九这里有精品| 97碰在线视频| 精品久久久91久久影视网| 日韩青青| 欧美色色色色色色| 五月综合色| 亚洲综合激情五月久久| 色婷婷五月天激情在线播放| 婷婷五月深深爱| 国产精品久久久海的味道| 性综合网| 色狠狠综合| 伊人99久久| 日熟女| 九九99在线免费在线观看视频| 丁香五月综合色婷婷| 人妻在线中文字幕久久| 久久久噜噜噜久久人妻| 手机旧版看人妻1025| 99热1| 九久9精品| 日韩五月婷婷久久| 亚洲精品国产setv| 色五月天视频| 久99久在线| 最近中文字幕大全免费版在线| 五月丁香亭亭激情操逼网| 激情久久丁香| 久久五月婷综合网| 在线观看亚洲视频影院| 成人片黄网站色大片免费毛片| 91色色色视频| 91久久婷婷| 五月婷婷精品无在线| 五月天开心网| 日韩一区二区A片免费观看 | 国产 A片 自拍| 婷婷丁香小说| 国产日韩欧美| 日本久久视频| 亚洲激情免费视频| 久久久大香蕉| 香蕉曰比| 涩综合在线| 精品人妻一区二区| 超碰在线caop| 丁香狠狠色婷婷| 99视频精品8 | 超碰九色| 玖玖婷婷视频| 这里只有精品视频国产| 99在线热视频| 欧美电影在线观看| 超碰成人免费| 五月天精品| 无码 av电影| 亚洲va欧美| 影音先锋91| 91伦| 九九热视频免费观看| a在线观看| se.久久视频在线观看| 亚洲99视频| 开心激情站| 亚洲黄色精品| 狠狠色噜噜狠狠狠888| 91919191919久久成人视频| 精热在线综合网| 激情亚洲婷婷| 综合久久六月| 五月婷婷自拍| 男人大jjc女人免费视频| 五月开心婷婷中文字幕| 9l视频自拍9l九色成人| 久9免费视频| 狠狠色综合网| 亚州婷婷五月激情综合| 337午夜福利| 不卡在线超碰| 热的无码综合视频| 久久国产一区二区三区| 婷婷色五月噜噜| 婷婷五月六月丁香| 九月婷婷色色| 九九人人精品| 性爱网六月丁香| 婷婷五月天高清无码| 激情影院69| 俺去也在线视频| 9热超碰| 思思精品久久艹| 色哟呦av| 五区毛片七区毛片| 色情网综合| 丁香婷婷激情网站| 久久婷婷综合色丁香| 操人妻视频91| 五月丁香婷婷激情四射迷人| 精品人妻一区二区| 97资源碰碰在线| 丁香五月激情在线| 97碰碰碰| 噜噜色婷婷| 午夜日韩久久久网站| 色播五月网| 婷婷色基地在线看| 久热超碰91| 久久婷五月婷| 婷婷激情四射| 九九久久综合网站| 九九热99久久99| 五月花婷婷丁香| 亚洲精品444久久久久久| 丁香五月婷婷在线观看| 久久超视频| 9999久久久久| 天天操天天操| 日操熟女| 真实亲子乱子伦高清在线观看| 五月丁香婷婷啪啪综合| 91狠狠色丁香婷婷综合久久| 五月天婷婷久久| 性av| 婷婷精品在线| 91性人人| 五月天狠狠| 久久只这里有精品| 色开心五月丁香| 丁香五月婷婷五月| 久久综合丁香五月| 五月婷婷伊| 五月天丁香成人社| 婷婷六月丁香1| 97操碰日本女人| 啪啪啪综合网| 亚洲丁香网| 无码区婷婷五月花开| 99精品成人无码A片观看金桔 | 天天摸夜夜爽天天做| 国产午夜精品一区二区三区四区| 成人丁香婷婷| 思恩热国产视频右线观看| 婷婷五月色播天| 五月色影院| 丁香五月花婷婷开心| 1级欧美日韩| 91狠狠色丁香婷婷综合久久| 五月婷婷我| 亚洲精品国产成人AV在线| 国产AV一区二区三区日韩| 色五月婷婷五月天| 激情的五月| 97亚洲婷婷| 4399无码视频| 亚洲激情网| av五月天婷婷丁香| 婷婷五月天成人娱乐| 伊人综合婷婷| 午夜大香蕉| 婷婷深爱五月丁香| 色国产五月| 久99视频在线观看| 色播色丁香五月| 中文字幕黄色片| 99热99热在线| 99在线看片| 91碰碰碰| 男人天堂 久久| 色天堂婷婷| AV性爱网| 久久婷婷色色| 亚洲综合色色| 成人色站,在线视频,看片-SS1AV| 五月丁香婷草| 婷婷六月久久| 国产真人做爰视频免费| 色五月婷婷av| 色婷婷久久| 欧美爆乳一区二区三区| 99综合婷婷五月| 五月丁香综合成人社区| 大香蕉在线99热| 99这里都是精品| 五月婷婷,六月丁香| 日本色久| 欧美激情VA永久在线播放| 丁香五月激情婷婷| 五月婷婷co.m| 五月丁香va| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 九九中文字幕九| 99re8在这里只有精品| 91色噜噜狠狠狠狠色综合| 夜夜操天天干| 深爱激情网五月天| 婷婷综合成人五月天| 天天搞夜夜六| 爱之国产色情综合| 色婷婷91激情小说| 九九这里只有精品在线视频| 成人午夜无码视频| 无码人妻激情| 91九色精品| 国产成人AV在线播放| 人操人人| 热99久| 婷婷六月综合基地| 婷婷五月丁香色色| Www.se.久久| 丁香97综合| 亚洲欧美国产A片免费观看| www.com在线操视频免费观看| av九九| 精品一二三区久久AAA片| 少妇人妻偷人精品无码视频新浪| 日本天天色| 亚洲色无码A片一区二区麻豆| 少妇被下春药玩弄A片| 国产成人精品亚洲线观看| 老师的粉嫩小又紧水又多A片视频| 色五月激情五月| 久久精品国产AV一区二区三区 | 国产肥白大熟妇BBBB视频 | 9久操| 欧美VA视频| 99视频在线观看视频| 97色女人在线| 综合久| 色五月综合激情| 久久66er久久| 成人网站免费sxj| 26uuu国产激情视频| 五月丁香青草综合啪啪| 亚洲视色| 日本色婷婷| 久久久五月天| 欧美性猛交XXXX乱大交极品| 超碰免费观看| 精品99视频| 色婷婷a| 狠狠香婷婷五月| 久久香蕉影院| 天天日人人爽| 色色热| 超碰人人在线| 六月丁香开心婷婷欧美| 天天插天天射天天干| www狠狠| 99热这里只有精品23| 久久思思热视频| 久婷久婷| 精品亚洲国产成人A片在线鸭王 | 婷婷色偷拍| jiqingtaose五月天| 婷婷之六月丁香| 九九大香视频| 丰满少妇猛烈A片免费看观看| 成人免费视频一区| 综合在线网| 色综合色色| 婷婷久久大香蕉| 五月婷久草| 99色精品视频| 狠狠草狠狠草| 成人短视频在线观看| 日韩AV一区二区三区| 狠狠色五月激情| 美女五月狠狠| 欧美激情综合| 天天肏天天肏| 五月丁香婷色| 另类综合激情| www.金莲av| 啪啪综合网| 99色色色色| 欧美丁香婷婷五月| 六月婷婷最新网址| 五月天婷婷基地丁香| 婷婷五月天成人小说| 99精品热| 色综合天堂| 天天日日综合| 日本三级韩三级99久久| 色婷婷瘦婷婷日韩| 日韩综合大黄| 97色色婷婷| 婷婷射图| 久久婷婷综合五月天| 少妇人妻丰满做爰XXX| 婷婷色网站| 午夜丁香婷婷| 色无婷婷| Se.婷婷五月天| 99视频热99| 99热99网| 99激情网| 91欧美日韩| 黄页大全十八禁| 国产婷婷色综合AV蜜臀AV| 综合婷婷久久| 思思热在线| 成年视频免费观看| 婷婷五月天堂一本在线| www.99.色| 日批在线看| 婷婷五月天成人| 五月丁香婷婷在线综合蜜桃| 婷婷激情小说| 五月天激情啪啪| 色五月综合激情| 婷婷在线五月综合| www.激情在线| 天天操夜夜操| www.xtbsty.cn.com蜜乳AV| 五月天com| 久久久婷婷色五月资源网| 丁香婷婷中文字幕| 色欲一区二区三区精品A片| 日本色噜| 亚洲九区| 蜜臀A∨在线水帘洞| 国产日韩欧美性爱| 99狠狠色| 九月av| 日本色色网站| 色玖玖综合| 夜夜躁婷婷AV| 激情五月天综合网| 免费99色| 亚洲综合色色| 免费成人网在线观看| 色五月婷婷基地| 一级二级色大片| 婷婷99视频精品| 77777亚洲午夜久久| 激情六月天| 日本操碰碰| 丁香五月婷久久| 五月色丁香综合| 亚洲精品又粗又大又爽A片 | 天天色天天噜| www天堂99| 色婷婷久久综合中文久久一本| 婷婷综合日本| 97人人操在线| bbwcuckold精品熟妇| 久久小视频| 天天天添天天操| 8050一级网| 婷婷五月激情在线视频| 黄久久久| 婷婷色操| 九九精品视频免费在线| 国外亚洲成AV人片在线观看| www.夜夜騎夜夜狠| 成人AV网站在线| sewuyuejiqingwang| 色婷婷av综合网| 涩五月婷婷| 激情九月婷婷| 免费无码毛片一区二区A片| 常久最新免费的色吊丝| 五月天激情四射网站| 色五月AV| 大陆肏屄视频| 人人综合久| 大香蕉综合在线| 婷婷精品综合| 色综合色五月| 91精品91久久久久77777| 亚洲综合色网| 97色婷婷成人综合在线观看| 免费视频在线观看的网站| 五月天啪啪| 激情丁香久久| 丁香婷婷老司机久操| 五月色综合| 欧美激情凹凸丁香网| 天天摸天天肏| 情色五月天 网站| 久久久婷婷婷| 六月激情婷婷| 亚洲精品五十一区| WWW色色色COM| www五月| 丁香午夜天| henhencao国产在线| 人人操人人添人人摸97| 欧美性色A片免费免费观看的| 色五月AV| 日韩五月天婷婷| 亚洲六月婷婷| 丁香五月亚洲综合| 久久98| 日亚二欧美| 婷婷五六日| 久热69| 日韩青青| 另类在线| 99热播放| 久久精热| 狠狠操狠狠爱| 亚洲色图五月丁香| 2w在线视频| 777色婷婷爱五月| 99re在线视频| 狠狠色噜噜色狠狠狠综合色| 亚洲乱码日产精品BD| 91在线日| 久久天堂网| www.henhengan| 婷婷五月天亚洲综合网| 狠狠做六月爱婷婷综合aⅴ| 欧美日韩五月婷婷| 婷婷综合干| 久久久宗合视频88| 少妇性BBB搡BBB爽爽爽电影| 亚洲综合网 665566| 一月婷婷色色| 激情五月丁香亭亭 | 亚洲色五月婷婷| 丁香五月首页| 五月婷婷丁香五月天| 五月丁香色| 99热久草| 丁香六月亚洲综合| 六月丁香综合网| 狠狠舔| 婷色人人狠| 激情四射五月天| 久久婷婷五月天懂色| 国产.亚洲.欧洲视频在线| 综合色影院| 五月婷婷日| 99热丁香| 五月丁香六月婷婷成人| 26uuu丁香婷婷五月| 97碰在线免费观看| 情色五月天 网站| 人操91在线| 99热免费18| 91AV视频| 五月丁香中文婷婷中文| 久久婷婷综合国产| 操逼三区| 69精品人人人人| 欧美性二区| 五月天另类综合网| 黄色99网| 五月婷婷在线综合| 亚洲精品午夜国产va久久成人| 亚洲综合99| 第四色大香蕉| 色噜噜婷婷| 亚州操人在线视频| 少妇AB又爽又紧无码网站| 俺去也婷婷| 综合色99| 激情AV综合| 婷婷香蕉视频| 伊人网碰碰| 婷婷五月天AV| 狠狠色性| www.五月丁香av| 激情综合五月天| 色五月综合在线| 蜜桃成语时李时珍 免费| 熟女人妻视频| 国产色视频网站2| 亚洲在线资源| 色婷婷五月天天天做| 色色色色色色97| 天天操夜夜操| 精品久久久人妻| 黄急一级视频| 超碰A V在线| 97人妻碰碰碰久| 婷婷五月激情基地| 色色色无码| 婷婷久草| 激情AV综合| 超碰av天堂| 婷婷久久夜| 天天久| 婷婷综合五月| 99热最新国内| 97热视频| 99九九视屏| 色婷视频| 国产在线网| 色综合久久88色综合天天99| 久久五月人人摸| 婷婷丁香五月婷婷| 丁香婷婷大香蕉| 激情婷婷综合网| 色婷婷基地在线| 五月婷婷综合在线视频小说| 91九色国产| 久草丁香婷婷1024| 91丁香五月| 五月丁香婷婷伊人| 99在线免费视频| 国产一级黄色影片,| 色九月婷婷综合| 99热这里只有免费| 五月婷婷AV| 9热久久在线| 婷婷五月四狠狠| 91人碰| 精品人妻一区二区三区在| 91热爆在线| 色五月综合激情| 国产午夜精品AV一区二区麻豆 | 嫩模aV在线| 狠狠干五码| 日韩啪啪网| 丁香婷婷综合影院| 色五月婷婷成人视频| 停停五月丁香| 在线观看国产高清视频免费网站 | 国产高潮A片羞羞视频涩涩| 综合激情五月婷婷| 天天草天天日| 天天干天天干天天干| 久久婷婷五月综合精品蜜芽| 激情五月综合网最新| 99久久网站| 亚洲av免费在线| 天天干天天干天天干天天干天天干| www.91操| 99热这里只有精品4| 91伦| 色色色色色色色色色999| 97色干| 日本一级一片免费视频| 婷婷丁香激情五月天色色| 极品人妻VIDEOSSS人妻| aa久久| www.henhenl| 激情国产五月| 丁香五月综合福利视频导航| 五月丁香婷婷综合网| 九九热99视频在线| 色亚洲欧洲| 99精彩视频在线观看| 伊人久久婷婷| 婷婷五月亚洲综合| 久综合色| 色五月婷婷大香蕉| 69色婷婷| 色小说五月天| 91亚洲免费片| 99re视频精品| 久久久久久久久久久jjjj| 天天操天天操| 色五月情| 婷婷射综合| 97色婷婷成人综合在线观看| 五月丁香久久网| 九九99精品视频| 91婷婷丁香| 久操大香蕉|