欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

嵌入式轉(zhuǎn)端側(cè)AI:為什么我回頭重學(xué)CNN,反而少走了三年彎路

嵌入式轉(zhuǎn)端側(cè)AI:為什么我回頭重學(xué)CNN,反而少走了三年彎路 1. 為什么在端側(cè) AI 時代回頭啃 CNN 不是走彎路很多人聽說我在嵌入式崗位上干了幾年之后反而掉頭去把卷積神經(jīng)網(wǎng)絡(luò)從最底層重新學(xué)一遍第一反應(yīng)都是你是不是搞反了方向。畢竟現(xiàn)在打開任何一個技術(shù)社區(qū)滿屏都是大模型、Transformer、端側(cè)部署量化推理這些詞CNN 看起來像是上個時代的產(chǎn)物。但我自己踩過一圈坑之后越來越確信在嵌入式到端側(cè) AI 的這條路徑上CNN 不是過時的東西而是繞不開的地基。先說清楚這個判斷的背景。嵌入式開發(fā)和端側(cè) AI 部署本質(zhì)上都受同一組約束支配算力有限、內(nèi)存有限、功耗有限、實(shí)時性要求高。你在服務(wù)器上可以隨手堆幾百億參數(shù)但在一個只有幾百 KB RAM、主頻幾百 MHz 的 MCU 上或者在一個算力被嚴(yán)格限制的邊緣設(shè)備上每一個乘加運(yùn)算、每一次內(nèi)存搬運(yùn)都要精打細(xì)算。CNN 恰好是理解計算量從哪來、內(nèi)存帶寬怎么被吃掉、精度和速度怎么權(quán)衡這件事最直觀的載體。它的結(jié)構(gòu)足夠簡單簡單到你可以在紙上把一層卷積的乘加次數(shù)算清楚又足夠典型典型到幾乎所有端側(cè)推理框架的優(yōu)化手段——算子融合、權(quán)重量化、內(nèi)存復(fù)用、Winograd 變換——都是圍繞它發(fā)展出來的。我決定重新從 CNN 開始還有一個很現(xiàn)實(shí)的原因端側(cè)部署里 80% 的坑根子都在對模型計算過程的理解不夠。你如果只是會調(diào)庫、會跑現(xiàn)成的推理腳本一旦遇到精度掉點(diǎn)、推理變慢、內(nèi)存溢出就完全不知道從哪下手。而當(dāng)你親手把一層卷積的前向傳播、反向傳播、量化誤差都推導(dǎo)過一遍之后再看那些部署工具報出來的日志你會突然發(fā)現(xiàn)每一條都在說人話。這篇文章我想聊的不是CNN 是什么這種教科書內(nèi)容而是站在一個從嵌入式轉(zhuǎn)過來的人的角度把 CNN 和端側(cè) AI 之間那條真實(shí)的連接線講清楚為什么嵌入式背景的人學(xué) CNN 有獨(dú)特優(yōu)勢、CNN 的核心計算到底怎么落到硬件上、量化為什么是端側(cè)的生命線、以及從零搭一個能在端側(cè)跑起來的小模型需要經(jīng)歷哪些環(huán)節(jié)。適合正在做嵌入式、想往端側(cè) AI 轉(zhuǎn)或者已經(jīng)在做端側(cè)部署但總覺得根基不牢的朋友。2. 嵌入式背景學(xué) CNN優(yōu)勢比你想的大得多2.1 你早就懂資源約束這門課做嵌入式的人有一個天然優(yōu)勢就是對資源約束有肌肉記憶。你寫單片機(jī)代碼的時候會下意識地關(guān)心這個變量占幾個字節(jié)、這個循環(huán)會不會被編譯器優(yōu)化掉、這段代碼放在 Flash 還是 RAM 里。這種思維習(xí)慣遷移到 CNN 上簡直是降維打擊。舉個具體的例子。一個普通的卷積層輸入特征圖是 32×32×16卷積核 3×3輸出通道 32。很多人第一反應(yīng)是這不就是個矩陣乘法嘛但如果你有嵌入式背景你會立刻開始算這一層有多少次乘加輸出特征圖每個點(diǎn)要做 3×3×16 144 次乘加輸出一共 32×32×32 32768 個點(diǎn)所以總共約 471 萬次乘加。如果每個乘加按一次 MAC 算在只有幾十 MHz 主頻、沒有硬件加速的 MCU 上這一層就要跑幾十毫秒。這個數(shù)字一出來你就知道為什么端側(cè)模型必須做通道剪枝、必須做量化了。這種先算賬再動手的習(xí)慣是很多從純算法轉(zhuǎn)過來的人欠缺的。他們習(xí)慣性地認(rèn)為算力是無限的直到部署的時候才發(fā)現(xiàn)模型根本跑不動。而你從一開始就會把算力預(yù)算當(dāng)成設(shè)計約束這讓你在設(shè)計模型結(jié)構(gòu)時就有天然的克制。2.2 內(nèi)存布局和訪存模式嵌入式人一看就懂CNN 在硬件上跑得快不快很多時候不取決于計算量而取決于訪存模式。這一點(diǎn)嵌入式開發(fā)者理解起來特別快因為你調(diào)過 DMA、寫過緩存友好的代碼、知道什么叫內(nèi)存對齊。卷積的計算有個特點(diǎn)計算密度其實(shí)不高但訪存很頻繁。以 NHWC 和 NCHW 兩種常見的內(nèi)存布局為例同一個卷積在不同布局下的訪存效率可能差好幾倍。NCHW 布局下通道維是連續(xù)的做逐通道卷積時訪存很友好但 NHWC 布局下空間維連續(xù)做 3×3 卷積時相鄰像素的讀取更連續(xù)。端側(cè)推理框架之所以要針對不同硬件選擇不同布局本質(zhì)就是在優(yōu)化訪存局部性。我在實(shí)際調(diào)試一個端側(cè)模型時遇到過這樣的情況同一個模型只是把輸入張量的內(nèi)存布局從 NCHW 換成 NHWC在某個邊緣設(shè)備上的推理時間就從 45ms 降到了 28ms。原因就是這個設(shè)備的緩存行是 64 字節(jié)NHWC 布局下連續(xù)讀取的像素能更好地填滿緩存行減少了緩存未命中。這種優(yōu)化思路做過嵌入式內(nèi)存優(yōu)化的人幾乎是本能反應(yīng)。2.3 定點(diǎn)數(shù)思維讓你對量化不再恐懼端側(cè) AI 繞不開量化而量化本質(zhì)上就是把浮點(diǎn)運(yùn)算換成定點(diǎn)運(yùn)算。這件事對嵌入式開發(fā)者來說太熟悉了——你在 MCU 上做傳感器數(shù)據(jù)處理的時候早就習(xí)慣了用 Q 格式定點(diǎn)數(shù)來避免浮點(diǎn)運(yùn)算的開銷。量化的核心是把 FP32 的權(quán)重和激活值映射到 INT8 的整數(shù)域。聽起來復(fù)雜但如果你理解定點(diǎn)數(shù)的定標(biāo)原理就會覺得這不過是換了個 scale 而已。一個 FP32 數(shù)值 x 量化成 INT8 的過程是先確定一個縮放因子 s然后 q round(x / s)反量化時 x q × s。這個 s 怎么選、怎么保證量化后精度損失最小就是量化算法的核心。而嵌入式開發(fā)者對精度和范圍的權(quán)衡這件事早就在 ADC 采樣、PWM 占空比這些場景里練過無數(shù)遍了。提示如果你之前沒接觸過定點(diǎn)數(shù)建議先花半天時間把 Q 格式比如 Q15、Q7的加減乘除和溢出處理搞清楚再回頭看量化會發(fā)現(xiàn)概念是通的。3. 把 CNN 的計算拆到硬件層面才算真正理解它3.1 一層卷積到底在算什么很多人學(xué) CNN 的時候腦子里是一張張漂亮的示意圖但真到了部署階段示意圖幫不上忙。你需要把卷積拆成硬件能執(zhí)行的原子操作。一個標(biāo)準(zhǔn)卷積層輸入張量形狀是 [H, W, C_in]卷積核是 [K, K, C_in, C_out]輸出是 [H_out, W_out, C_out]。它的計算可以拆成四層循環(huán)遍歷輸出通道、遍歷輸出空間位置、遍歷卷積核空間位置、遍歷輸入通道。最內(nèi)層的操作就是一次乘加acc input[...] * weight[...]。這個四層循環(huán)的循環(huán)順序直接決定了訪存效率和能不能做并行。比如把輸出通道放在最外層那么每個輸出通道的計算可以獨(dú)立進(jìn)行適合多核并行把輸入通道放在最內(nèi)層那么內(nèi)層循環(huán)可以連續(xù)讀取輸入和權(quán)重適合向量化指令。端側(cè)推理框架里的im2col GEMM策略本質(zhì)就是把卷積展開成矩陣乘法然后調(diào)用高度優(yōu)化的矩陣乘法庫這樣就能復(fù)用成熟的 BLAS 優(yōu)化。但 im2col 有個代價它會復(fù)制輸入數(shù)據(jù)把內(nèi)存占用放大 K×K 倍。在內(nèi)存緊張的端側(cè)設(shè)備上這個代價有時候不能接受。所以很多輕量級框架會選擇直接卷積direct convolution雖然計算效率低一點(diǎn)但省內(nèi)存。這就是一個典型的端側(cè)權(quán)衡用計算換內(nèi)存還是用內(nèi)存換計算。3.2 感受野、步長、填充這些參數(shù)怎么影響端側(cè)性能感受野、步長、填充這些概念在算法層面是理解模型表達(dá)能力的關(guān)鍵但在端側(cè)部署層面它們直接決定了計算量和內(nèi)存占用。步長stride是最直接的影響因素。步長為 1 的卷積輸出空間尺寸基本不變步長為 2 的卷積輸出尺寸減半計算量直接降到四分之一。所以在端側(cè)模型里早期層經(jīng)常用步長 2 來快速降分辨率減少后續(xù)層的計算量。但步長太大會丟失空間信息影響精度這個平衡點(diǎn)需要根據(jù)具體任務(wù)調(diào)。填充padding影響的是邊界處理。SAME padding 會讓輸出尺寸和輸入一致VALID padding 則會讓輸出縮小。在端側(cè)padding 的處理方式會影響內(nèi)存分配——SAME padding 需要在輸入邊界補(bǔ)零如果實(shí)現(xiàn)得不好會產(chǎn)生額外的內(nèi)存拷貝。有些框架會通過隱式 padding來避免實(shí)際拷貝只在計算時判斷邊界這樣能省下不少內(nèi)存。感受野則是理解模型看到多大范圍的關(guān)鍵。在端側(cè)做目標(biāo)檢測或者語義分割時感受野不夠大會導(dǎo)致模型無法理解全局上下文。但擴(kuò)大感受野的手段——堆更多層、用空洞卷積、用大卷積核——都會增加計算量。所以端側(cè)模型設(shè)計的一個核心矛盾就是在有限算力下怎么用最少的計算獲得足夠大的感受野。MobileNet 用深度可分離卷積、ShuffleNet 用通道混洗本質(zhì)上都是在解這個矛盾。3.3 從乘加次數(shù)到實(shí)際延遲中間隔著什么理論上算出來的乘加次數(shù)MACs和實(shí)際推理延遲之間往往差著好幾倍。這個差距來自哪里是端側(cè)部署必須搞清楚的。第一是內(nèi)存帶寬。很多端側(cè)設(shè)備的算力其實(shí)不弱但內(nèi)存帶寬是瓶頸。卷積層的計算密度每讀一個字節(jié)能做多少次運(yùn)算如果太低那實(shí)際性能就被內(nèi)存帶寬卡死而不是被算力卡死。這就是為什么深度可分離卷積雖然 MACs 大幅降低但在某些設(shè)備上加速比并沒有理論值那么高——因為它的計算密度更低更容易受內(nèi)存帶寬限制。第二是算子啟動開銷。每個算子卷積、激活、池化在硬件上執(zhí)行都有啟動開銷算子越多開銷累積越明顯。所以端側(cè)推理框架會做算子融合把卷積 BN 激活融合成一個算子減少中間結(jié)果的寫回和讀取。這個優(yōu)化在理論上不減少 MACs但實(shí)際延遲能降 20% 到 40%。第三是數(shù)據(jù)搬運(yùn)。模型權(quán)重從 Flash 加載到 RAM、中間特征圖在不同內(nèi)存層級之間搬運(yùn)這些都有開銷。端側(cè)設(shè)備的內(nèi)存層級往往比服務(wù)器簡單但 Flash 讀取速度慢這個問題很突出。所以權(quán)重量化不僅是為了減少計算也是為了減少權(quán)重體積降低加載開銷。影響因素對延遲的影響典型優(yōu)化手段內(nèi)存帶寬計算密度低時成為主瓶頸提高計算密度、算子融合算子啟動開銷算子數(shù)量多時累積明顯算子融合、圖優(yōu)化權(quán)重加載Flash 讀取慢時突出權(quán)重量化、權(quán)重常駐 RAM緩存未命中訪存模式差時嚴(yán)重調(diào)整內(nèi)存布局、分塊計算4. 量化端側(cè) AI 的生命線也是理解 CNN 的最佳切口4.1 為什么端側(cè)幾乎必然要量化在端側(cè)設(shè)備上量化不是可選優(yōu)化而是能不能跑起來的問題。原因有三層。最直接的是內(nèi)存。一個 FP32 的權(quán)重占 4 字節(jié)量化成 INT8 只占 1 字節(jié)模型體積直接降到四分之一。對于一個幾 MB 的模型這意味著能不能塞進(jìn)設(shè)備的 Flash 里。很多低端 MCU 的 Flash 只有 512KB 到 1MB不量化根本放不下。其次是計算速度。INT8 乘加在大多數(shù)端側(cè)硬件上比 FP32 快得多。有些 DSP 或者 NPU 有專門的 INT8 加速單元吞吐量是 FP32 的好幾倍。即使沒有專用硬件INT8 運(yùn)算的功耗也更低這對電池供電的設(shè)備至關(guān)重要。第三是功耗。浮點(diǎn)運(yùn)算的能耗遠(yuǎn)高于整數(shù)運(yùn)算。有研究數(shù)據(jù)表明一次 FP32 乘加的能耗大約是一次 INT8 乘加的十幾倍。在功耗預(yù)算嚴(yán)格的端側(cè)場景量化帶來的功耗下降是決定性的。4.2 訓(xùn)練后量化與量化感知訓(xùn)練怎么選量化有兩條主要路線訓(xùn)練后量化PTQ和量化感知訓(xùn)練QAT。PTQ 是在模型訓(xùn)練完成之后用一批校準(zhǔn)數(shù)據(jù)統(tǒng)計激活值的分布然后確定量化參數(shù)。它的優(yōu)點(diǎn)是簡單快捷不需要重新訓(xùn)練適合快速驗證。缺點(diǎn)是精度損失可能比較大尤其是對那些激活值分布不均勻的模型。PTQ 又分動態(tài)量化和靜態(tài)量化動態(tài)量化在推理時實(shí)時計算激活的量化參數(shù)靈活但開銷大靜態(tài)量化提前算好參數(shù)推理時直接用效率高但需要校準(zhǔn)數(shù)據(jù)。QAT 是在訓(xùn)練過程中就模擬量化誤差讓模型學(xué)會適應(yīng)量化。它的精度通常比 PTQ 好尤其是量化到 INT8 甚至更低比特時。代價是需要重新訓(xùn)練訓(xùn)練過程也更復(fù)雜要在前向傳播里插入偽量化節(jié)點(diǎn)。我的經(jīng)驗是如果模型本身比較小、結(jié)構(gòu)比較規(guī)整PTQ 通常夠用如果模型對精度敏感或者要量化到 8 比特以下QAT 更穩(wěn)。在端側(cè)實(shí)際項目里我一般先用 PTQ 快速跑通流程看精度掉多少如果掉點(diǎn)在可接受范圍內(nèi)就直接用如果掉太多再上 QAT。4.3 量化誤差從哪來怎么定位量化誤差主要來自三個地方權(quán)重量化誤差、激活量化誤差、以及兩者疊加后的累積誤差。權(quán)重量化誤差相對好控制因為權(quán)重是靜態(tài)的可以提前分析分布選擇合適的量化范圍。激活量化誤差更麻煩因為激活值是動態(tài)的不同輸入的激活分布可能差別很大。如果校準(zhǔn)數(shù)據(jù)的分布和實(shí)際推理數(shù)據(jù)不一致激活量化誤差就會很大。定位量化誤差我常用的方法是逐層對比把 FP32 模型和量化模型在同一個輸入上的中間層輸出都 dump 出來逐層算余弦相似度或者相對誤差。哪一層的誤差突然變大問題就出在哪一層。常見的原因是那一層的激活值有長尾分布或者有極端值把量化范圍撐大了導(dǎo)致大部分值被壓縮到很小的量化區(qū)間里。解決手段也有幾種一是對那一層單獨(dú)用更高的比特混合精度量化二是對激活值做截斷把極端值裁掉犧牲一點(diǎn)精度換整體量化效果三是調(diào)整那一層的量化粒度從 per-tensor 改成 per-channel。注意per-channel 量化對權(quán)重的效果通常比 per-tensor 好很多因為不同輸出通道的權(quán)重分布差異可能很大。但 per-channel 量化會增加推理時的開銷因為每個通道要用不同的 scale。在端側(cè)要權(quán)衡。5. 從零搭一個能上端側(cè)的小 CNN完整實(shí)操鏈路5.1 先定約束再設(shè)計結(jié)構(gòu)端側(cè)模型設(shè)計的第一步不是畫網(wǎng)絡(luò)結(jié)構(gòu)而是把約束列清楚。我通常會問自己幾個問題目標(biāo)設(shè)備的 RAM 有多大、Flash 有多大、有沒有硬件加速單元、推理延遲要求是多少、精度底線是多少。這些約束定下來之后模型結(jié)構(gòu)其實(shí)就八九不離十了。舉個例子假設(shè)目標(biāo)設(shè)備有 256KB RAM、1MB Flash、沒有 NPU、要求單幀推理在 50ms 以內(nèi)。那么模型參數(shù)量大概要控制在 100K 到 300K 之間中間特征圖峰值內(nèi)存不能超過 200KB?;谶@些約束我會選擇深度可分離卷積作為基本模塊早期層用步長 2 快速降分辨率通道數(shù)從 16 開始逐步增加到 128 左右最后用全局平均池化代替全連接層來減少參數(shù)。這個設(shè)計過程不是拍腦袋而是每一步都有約束在背后撐著。通道數(shù)為什么從 16 開始因為第一層輸入通道通常是 1 或 3輸出通道 16 已經(jīng)能提取足夠的初級特征再大就浪費(fèi)。為什么用全局平均池化因為全連接層的參數(shù)量通常是整個模型的大頭去掉它能省下大量 Flash。5.2 訓(xùn)練階段的幾個關(guān)鍵設(shè)置端側(cè)模型的訓(xùn)練和普通模型訓(xùn)練有些不一樣的地方這些細(xì)節(jié)直接影響后面能不能順利量化。首先是權(quán)重衰減。端側(cè)模型通常比較小容易過擬合所以權(quán)重衰減要設(shè)得合理。但權(quán)重衰減太強(qiáng)會讓權(quán)重分布過于集中反而不利于量化。我的經(jīng)驗是權(quán)重衰減設(shè)在 1e-4 到 1e-5 之間比較穩(wěn)。其次是BN 層的處理。BN 層在訓(xùn)練時很有用但推理時會被融合進(jìn)卷積。融合的前提是 BN 的參數(shù)已經(jīng)穩(wěn)定所以訓(xùn)練時要確保 BN 的移動平均更新充分。如果訓(xùn)練輪數(shù)太少BN 統(tǒng)計量不準(zhǔn)融合后精度會掉。我一般會在訓(xùn)練后期凍結(jié) BN 的統(tǒng)計量再跑幾輪微調(diào)。第三是激活函數(shù)的選擇。ReLU 是最省算力的但它的輸出沒有上界量化時不好確定范圍。ReLU6 把輸出限制在 0 到 6 之間量化友好得多這也是 MobileNet 系列用 ReLU6 的原因。如果對精度要求高可以用帶參數(shù)的激活函數(shù)但要注意它們對量化的友好程度。5.3 量化實(shí)操從 FP32 到 INT8 的完整流程下面是我常用的量化流程以靜態(tài) PTQ 為例。第一步準(zhǔn)備校準(zhǔn)數(shù)據(jù)。校準(zhǔn)數(shù)據(jù)不需要標(biāo)注但分布要盡量接近實(shí)際推理數(shù)據(jù)。一般準(zhǔn)備 100 到 500 個樣本就夠了。數(shù)據(jù)太少校準(zhǔn)不準(zhǔn)太多浪費(fèi)時間。第二步插入觀測節(jié)點(diǎn)。在模型里插入統(tǒng)計激活值分布的節(jié)點(diǎn)跑一遍校準(zhǔn)數(shù)據(jù)收集每一層激活的最小值、最大值或者直方圖。第三步計算量化參數(shù)。根據(jù)收集到的分布用 KL 散度或者最小化均方誤差的方法確定每一層的 scale 和 zero_point。KL 散度方法會找一個截斷點(diǎn)把長尾部分裁掉讓量化范圍更緊湊。第四步轉(zhuǎn)換模型。把 FP32 的權(quán)重和激活都轉(zhuǎn)成 INT8同時把卷積、BN、激活融合成量化算子。第五步驗證精度。在測試集上跑量化模型對比 FP32 模型的精度。如果掉點(diǎn)超過閾值回到第三步調(diào)整量化策略。# 量化流程的偽代碼示意 def quantize_model(fp32_model, calib_loader): # 1. 插入觀測節(jié)點(diǎn) model prepare_for_quantization(fp32_model) # 2. 跑校準(zhǔn)數(shù)據(jù)收集分布 for batch in calib_loader: model(batch) # 3. 計算量化參數(shù)并轉(zhuǎn)換 quantized_model convert_to_int8(model) # 4. 驗證 acc_fp32 evaluate(fp32_model, test_loader) acc_int8 evaluate(quantized_model, test_loader) print(fFP32 acc: {acc_fp32}, INT8 acc: {acc_int8}) return quantized_model5.4 部署到端側(cè)后的性能調(diào)優(yōu)模型量化完、轉(zhuǎn)換完只是走完了一半。真正部署到設(shè)備上之后還有一輪性能調(diào)優(yōu)。首先要確認(rèn)推理框架用的是不是針對目標(biāo)硬件優(yōu)化過的版本。同一個模型用通用框架和用廠商優(yōu)化過的框架性能可能差好幾倍。廠商的框架通常會針對自家硬件的緩存大小、DMA 特性、加速單元做專門優(yōu)化。其次是內(nèi)存規(guī)劃。端側(cè)推理框架一般會做內(nèi)存復(fù)用把不同層的中間特征圖分配到同一塊內(nèi)存上因為它們的生命周期不重疊。但內(nèi)存復(fù)用算法有好有壞好的算法能把峰值內(nèi)存壓到理論下限附近。如果發(fā)現(xiàn)內(nèi)存占用比預(yù)期高可以檢查一下框架的內(nèi)存規(guī)劃策略。第三是線程和并行。如果設(shè)備是多核的要確認(rèn)推理框架有沒有用上多核。有些框架默認(rèn)單線程需要手動開啟多線程。但多線程也不是越多越好線程太多會有調(diào)度開銷在核數(shù)少的設(shè)備上反而變慢。最后是輸入預(yù)處理和后處理。這兩部分經(jīng)常被忽略但在端側(cè)它們可能占總延遲的很大比例。比如圖像 resize、歸一化、NMS 這些操作如果實(shí)現(xiàn)得不好可能比模型推理本身還慢。我遇到過預(yù)處理占了總延遲 40% 的情況后來把 resize 換成硬件加速才解決。6. 那些只有踩過才知道的端側(cè) CNN 坑6.1 精度掉點(diǎn)不一定是量化的鍋有一次我量化完一個模型精度掉了 5 個百分點(diǎn)第一反應(yīng)是量化策略有問題調(diào)了半天量化參數(shù)都沒用。后來逐層對比才發(fā)現(xiàn)問題出在 BN 融合上——訓(xùn)練時 BN 的移動平均沒更新充分融合后統(tǒng)計量偏移導(dǎo)致精度掉。重新訓(xùn)練并凍結(jié) BN 統(tǒng)計量之后量化精度只掉了 0.5 個點(diǎn)。這個坑讓我養(yǎng)成了一個習(xí)慣精度掉點(diǎn)先查 BN 和算子融合再查量化本身。因為 BN 融合是確定性的數(shù)學(xué)變換如果實(shí)現(xiàn)正確不應(yīng)該掉精度一旦掉了說明 BN 參數(shù)本身有問題。6.2 校準(zhǔn)數(shù)據(jù)的分布比數(shù)量重要另一個常見的坑是校準(zhǔn)數(shù)據(jù)選得不對。我見過有人用訓(xùn)練集的前 100 張圖做校準(zhǔn)結(jié)果這 100 張圖恰好都是某個類別的激活分布嚴(yán)重偏斜量化后其他類別的精度慘不忍睹。校準(zhǔn)數(shù)據(jù)的核心要求是分布覆蓋不是數(shù)量。100 張覆蓋各類別、各場景的圖比 1000 張同質(zhì)化的圖效果好得多。如果實(shí)在不確定可以用聚類的方法從訓(xùn)練集里挑代表性樣本。6.3 端側(cè)設(shè)備的標(biāo)稱算力要打折扣設(shè)備規(guī)格書上的算力數(shù)字和實(shí)際能跑出來的性能往往差很遠(yuǎn)。標(biāo)稱 1 TOPS 的設(shè)備實(shí)際跑 CNN 可能只能發(fā)揮 20% 到 30%。原因很多內(nèi)存帶寬跟不上、算子支持不全、調(diào)度開銷大。所以選型的時候不要只看標(biāo)稱算力要看實(shí)際跑目標(biāo)模型的 benchmark。如果廠商提供了 benchmark 數(shù)據(jù)要看它跑的是什么模型、什么精度、什么 batch size。條件允許的話最好自己拿目標(biāo)模型實(shí)測一下。6.4 別忽略數(shù)值穩(wěn)定性端側(cè)量化模型在極端輸入下可能出現(xiàn)數(shù)值溢出。比如某個激活值在訓(xùn)練集里最大是 10量化范圍定到 10但實(shí)際推理時來了一個激活值 15 的輸入量化后就溢出了輸出完全錯誤。解決辦法是在確定量化范圍時留一點(diǎn)余量或者用飽和處理。但余量留太多會浪費(fèi)量化精度這個平衡要根據(jù)實(shí)際場景調(diào)。如果應(yīng)用場景輸入可控余量可以留小一點(diǎn)如果輸入不可控余量要留足。7. 回頭看這條路該怎么走從嵌入式轉(zhuǎn)到端側(cè) AI再回頭把 CNN 重新啃一遍我最大的體會是這兩件事本來就是一件事。嵌入式的資源約束思維、定點(diǎn)數(shù)思維、訪存優(yōu)化思維和端側(cè) AI 的量化、算子融合、內(nèi)存規(guī)劃底層邏輯是通的。CNN 只是把這些思維應(yīng)用到了一個具體的計算模式上。如果你也在走類似的路我的建議是不要急著去追最新的模型結(jié)構(gòu)先把一個最簡單的 CNN 從訓(xùn)練到量化到部署完整走一遍。走完之后你對端側(cè) AI 的理解會比看十篇綜述都扎實(shí)。具體來說可以拿一個經(jīng)典的圖像分類任務(wù)自己搭一個幾層的小 CNN訓(xùn)練到能用的精度然后量化、轉(zhuǎn)換、部署到一個真實(shí)的端側(cè)設(shè)備上測延遲、測內(nèi)存、測精度。這個過程中遇到的每一個問題都是真正長本事的時刻。至于后續(xù)往哪個方向深入我的看法是先把 CNN 這條線走透再去看 Transformer 在端側(cè)的部署。因為端側(cè) Transformer 的很多優(yōu)化手段——量化、算子融合、內(nèi)存復(fù)用——都是從 CNN 時代積累下來的。地基打牢了上面蓋什么樓都穩(wěn)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99热99这里免费的精品| 国产超碰av| 天天操加勒比| 激情五月婷婷在线| 久久久婷婷| 奇米色大香蕉| 国产精品久久久60086| 思思热99热| 91精品综合久久久久久五月天| 天天插天天草人人玩| 五月丁香婷婷久久| 91色色色视频| 99婷婷综合| 成人网址在线观看| 天堂色婷婷| 免费一区二区三区| 涩涩婷婷五月| 97在线观视频免费观看 | 色丁香五月| 99色免费| 婷婷亚洲欧美丁香五月| 五月丁香色停停啪啪啪| 天天干天天日日| 欧美久热| 热久国产| 色色色五月婷| 99国产97在线,| 思思色综合网站| 激情五月婷| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 99在线观看| 91丁香婷婷综合久久欧美| 丁香久久AV| 丁香六月激情综合| 丁香色综合| 玖玖婷婷五月天| 内射人妻视频国内| 六月伊人婷婷| 强壮的公次次弄得我高潮A片日本 | 色婷婷丁香九月| 亚洲五月花| 日韩一级淫乱片一区二区三区| 性色播| 日韩操人| 秋霞性爱AV| www.91婷婷| 抽插特写| 逼里香不卡| 午夜少妇在线观看视频| 激情丁香五月婷| 丁香色色色| 91porn一起草| 天天色天天日| 婷婷va| 五月婷婷性| 久久综合站| 五月天激情国产综合AV| 丁香综合| 99热成人在线观看| www.99操.com| 五月天.com| 五月丁香综合久久夜夜| 99爱在线精品视频免费观看| 久久9RE热视频精品98| 久久五月综合| 加勒比日本一区二区三区| 久久人妻伦理| 色蜜婷婷| 婷婷六月色开| 五月婷网| 激情婷婷五月| 五月丁香六月激情综合啪啪| 丁香五月偷拍| www.五月天。com| 亚洲视频一区| 五月丁香AV在线| 久操香蕉| 五月婷在线观看| 69精品无码一区二区三区| 人人摸人人摸| 久操福利| 俺去也婷婷| 丁香五月婷婷狠狠色| 五月天婷婷基地| 综合网色| 五月天激情婷婷| 丁香五月天在线观看视频| 99精品免费视频| 日本女va| 日韩综合成人| 国产无套精品一区二区| 综合性爱网| 欧美影院| 欧韩性爱| 米奇影视资源婷婷狠狠色激情欧美五月丁香| 亚洲亚洲人成综合网络| 天天做天天摸| av线电影| 小视频久久久aaa| 天天 青草 制服丝袜 在线| 91操操| 五月婷婷成人网首页| 专区无日本视频高清8| 99在线看片| 天天综合网~91| 精品亚洲VA网站| 色噜久| 五月色婷婷影院| 秋霞性爱AV| 二色av| 亚洲日韩26uuu| 五月天丁香婷婷久久九| 伊人色综合久久久| 91人人操人人| 综合网色| 人人爱人人摸人人澡| 综合色吧| AV电影在线播放| 99成人精品| 激情综合五月丁香六月婷婷| 色丁香婷婷| 精a品a视a频| 男同91| 99热这里只有精品官网| 五月婷婷|欧美| 天天色视频| 色色五月丁香婷婷| 国外亚洲成AV人片在线观看| 99久久6| 大香蕉久久久| 婷婷色综合| 欧美综合激情五月天| 国产黄色一级片| 狠狠干夜夜干| 常久最新免费的色吊丝| 色色色色色五月丁香| 依人大香蕉| 婷婷五月天.com| 天天操天天插天天射| 久久99精品久久久久久噜噜| 婷婷五月天激情偷拍| 蒲京久久无码视频| 综合色久| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 精品久色| 五月激情综合婷婷| 久久视频婷婷视频| 日本熟女一区二区| 情色五月天网站| 丁香五月天激情综合| 国产熟女日日骚五月丁香爱| 色情五月天丁香社区| 激情99| 综合五月天婷婷色| 人人爱操| 亚州第一A片| 久久xxxx| 1010日日无码| 秋霞A V毛片| 被强行糟蹋的女人A片| 五月婷亚洲精品| 久久激情视频99| 五月天激情色色| 激情五月婷黄版| 亚洲色色在线| 日韩在线成人电影| 人妻丰满精品一区二区A片| 婷婷伊人网| 久久激情视频99| 婷婷9月天| 99综合视频| 狠狠五月天婷婷激情网。| 久久婷婷五月天激情四射| 欧洲不卡视频| 狠狠干综合网| 电影蜘蛛女| 欧美在线视频9| 五月激情视频| 欧美日比视频| 日日爽天天| 欧美噜噜噜草| 欧美久久久久久久久中文字幕| 久久婷婷五月| 夜夜夜夜撸夜夜操| 狠狠干2007| 丁香五月www| 久久久久久久人妻| 激情综合网五月天| 天色综合网站| 九九色色网| 久久91久久精品久久| 色综合丁香| 99r这里| 色色网站免费在线视频| 狠狠狠狠狠狠色| 99久久国产宗和精品1上映| 色婷婷888| av在线色五月丁香婷区久| 99黄色性生活| 久久色9| 五月天久久色| 婷婷午夜| 久久作爱| 天天操电影院色狼性av| 丁香五月激情六月综合| 99色精品视频| 丁香婷婷五月六月久久| 激情丁香久久| 国产婷婷婷| 99久热| 97色色色| www,26uuu,c0m,色情| 狠狠人人| 五月天婷婷av| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 91天天操天天干天天射| 狠狠干夜夜干| 色色色色色爱| 丁香六月婷婷高清| 久久婷五月| 五月天堂色色| 99精品偷自拍| 九九在线视频| 色五月婷婷久久| 日本婷色| 丁香网五月天激情| 天天综合亚洲综合| 五月天开心婷婷久久| 超碰人人艹| 综合九九久久| 久久在线视频免费观看| 开心五月深爱五月| 天天干天天干天天干天天干天天干| 丁香五月影院| 五月天婷婷社区| 伊人丁香婷婷东京| 五月丁香六月激情网| 天天做天天要天天爱| 丁香 久久| www99热| 丁香久久久| 噜噜精品| 亚洲va在线| 日本在线免费中文com.| AV在线免费网站| 九月色婷婷综合| 九月丁香婷婷网| 三级片AAA久久久AAA久久久AAA| 99热亚洲精品| 色99在线| 国产激情AV| 九九精品热播| 影音先锋偷偷色男人站| 丁香五月成人婷婷| 亚洲婷婷五月| 久9免费视频| 26uuu日韩| 人人草人人爱手机视频看看| 五月综合六月婷婷| 在热视频精品| 天天婷婷色六月| 久热只有这里精品| 丁香五月激情图片| 色狠狠色噜噜AV天堂五区消防| 蜜桃婷婷丁香| 天天色色婷婷| 天天色天天舔天天爱天天爽| 婷婷视频在线| 97色在线观看视频| 99久久久久久www| 99热99| 9色免费网| 婷婷综合久久综合| 大香蕉久久伊人网| 色婷婷啪啪| 91综合视频在线| 超级碰 久久9| 激情久久丁香| 精品牛仔裤超碰| 国产精品美女| 色综合九九色综合88| 百度4399有码精品V在线观看 | 久久玖玖综合| 五月天婷婷爱| 91狠狠色丁香婷婷综合久久| 久操大香蕉| 久久激情五月| 99年操人人爽| 亚洲乱码日产精品BD| 农村熟妇高潮精品A片| 激情综合五月| 精品一区二区三区四区五区六区| 国产亚洲在线观看| 精品一二三区久久AAA片| 中文字幕丰满孑伦无码专区| aaaa久久| 99视频91| 色色吧综合| 五月丁香| 先锋男人99资源| 大伊久久| 五月天亚洲综合网| 影音先锋一区二区三区| 99亚洲精品| 婷婷综合视频| 精品国婬伦V无码久久久| 99精品手机在线视频| 美国不卡视频| 色9999日韩国产| 五月丁香婷婷福利| 五月婷丁香久久久| 婷婷五月花丁香| 综合色色色色色色| 日韩在线视频中文字幕| 任你草| 婷婷99狠狠躁天天躁| 亚洲熟妇AV乱码在线观看| 五月天久久婷| 九月婷婷综合网| 国产老熟妇亲子乱对白| 天天干夜夜操A片| 亚洲色激婷| 丁香五月亚洲综合| 婷婷 丁香 精品| 日本三级日本三级99| 丁香五月综合网| 五月日韩中文字幕| 丁香色影院| 久久六月天| 婷婷久久五月| 久久精品亚洲一级牲爱综合| 激情AV在线| 成人午夜无码视频| 亚洲无码影片| 亚洲综合婷婷五月| 就爱啪啪婷婷| 人人摸人人澡人人| 色婷婷九月| 久久久全国免费视频| 狠狠色大香蕉| 精品一二三区视频立| 亚洲色综久久五月| 超碰色色综合| 国产人妻777人伦精品HD| 日本在线wwww| 亚洲婷婷五月天在线激情综合网| 人人看人人要| 狠狠五月激情丁香六月| 色爱综合网| www久久久久久久| 欧美色色色色色色色| 99在线视频免费| 99热亚洲精品| 99热官网| 国产操逼网站| 98毛片| 久久免费婷婷视频| 五月婷婷丁香综合| 秋霞少妇AV网站| 九九青草热| 天天搽天天射| 夜夜骑夜夜撸| 九九伊人网| 新男人天堂人妻| 99热99在线| 噜噜噜色噜噜| 成人av中文字幕| 野战J办公桌椅H| 97五月综合网| 色青青五月| 亚洲色热| 国产亚洲精品久久久久苍井松| 五月天色站| 色五月开心婷婷| 久色资源网| 久久98| 五月停视频天堂| 97精品欧美91久久久久久久| 亚洲人妻五月丁香婷婷| 深爱婷婷网| 殴美97色| www.91.com处女在线直播| 久久婷婷六月综合综合色| 九九热精品视频在线观看| 色综合色综合色综合| 丁香六月开心| 天天色天天日| 久在线88综合| 狠狠色综合网| 婷婷开心激情| 亚洲V国产V欧美V久久久久久| 日韩在线观看亚洲| 欧洲高清免费久久| 可以看的AV| 丁香操逼| 色人五月婷婷| 日本色色图| www.ywav| 热久久成人| 91无码高清| 日本WwW色偷偷丁香花久久久京东热| 天堂久久精品| 五月天婷婷成人| 天天日天天操心| wWW九九在线播放| 爱婷婷久久视频| 人人干人人看| 色婷婷88| 五月婷婷婷婷| 欧美日韩二区在线| 【乱子伦】黄色| 亚洲无码yw| 淫五月停停| 亭亭五月丁香综合欧美| 色爱99| 90色免费视频| 狠狠色丁婷婷日日,伊人激情综合网 | 国产精品久久久久久久久久| 香蕉综合在线| 26UUU精品一区二区| 亚洲V国产V欧美V久久久久久| 九色视频91疯狂| 久久黄色片| 人妻丰满精品一区二区A片| 九热精品| 精品99在线观看| 果冻传媒A片一二三区| 26uuu国产色| 婷婷综合视频| 性爱激情小说AV五月丁香花| 色五狠狠| 欧美久久一级内射wwwwww.| 婷婷久久网| 欧美性色视频| 婷婷五月天丁香久久| 91视屏在线观看com.wwwvv| 五月丁香天堂网| 激情五月,激情综合网| www.亭亭五月天| 国产成人精品123区免费视频| 99自拍视频| WWW.桔色成人.COM| 欧洲区自拍| 五月婷六月天| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 他改变了拜占庭| 99热大香蕉| 任你日热视频| 五月花综合视频| 国产精品美女久久久久AV超清| WWW.天天日| 综合久久9| 九月婷婷综合网| 婷婷五月噜噜| 色色婷婷综合| 色综合久久天天综合网| 日日日日日| 九九九精品视频免费观看| 91精品久久久久久久| 26uuu偷拍亚洲欧洲综合| 婷婷五月色情天| 亚洲岛国电影| 婷婷无码视频| 久久婷婷七月丁香| 婷婷五月综合在线视频| caop视频| 色五月五月天| 色爽干| 婷婷五月天成人动漫 | 天天操天天干天天射| 五月丁香久久综合精品| 午夜天堂一区人妻| 天天色综合色| AA片在线观看视频在线播放| 九九视频精品视频精品| 四季8848精品成人免费网站 | 五月天色婷婷图片| 日本V在线观看不卡视频网站| 丁香六月视频| 99爱在线视频| 丁香五月六月婷婷自拍| 日产精品一线二线三线芒果| 涩涩婷婷五月| 色呦呦在线| 日本五月丁香| 丁香久久在线| 五月天俺去也| 超碰99热在线观看| 婷婷成人五月天| 九久久精品视频99| 九九婷婷综合| 大香蕉久| 五月天婷婷基地| 99热99日…..| 国产人妻777人伦精品HD| 另类图片 五月激情| 亚洲乱码日产精品BD| 开心五月婷婷在线视频免费观看| 丁香六月天婷婷色| 五月天天爽| 精品九九网| 9九色首页| 日韩久热| 丁香六月婷婷综合色| 狠狠色丁香久久久婷| 欧美日韩成人| 国内裸舞二区| 亚洲色图欧美色图日本视频| 99热99热不卡| 一级无码作爱片| 噜噜噜久久| 91玖玖| 五月丁香六月婷婷网| 色五月婷婷狠狠撸| av在线播放网站| 婷婷亚洲色| 丁香婷婷午夜| 亚洲综合久| 久久66er久久| 国产精品天天狠天天看| 99精品小视频| 夜夜爱伊人| 丁香婷婷五月| 婷婷色色播五月天| 丁香社92视频| 日本一级| 丁香婷婷五月天网站| 亚洲乱码日产精品BD| 五月天深爱激情网| 久久9热| 久久婷婷六月综合| 激情综合婷婷| 色月丁| 婷婷五月丁香久久| 中文人妻主播久久| 五月丁香色色色| 六月激情网| 99ri精品视频在线观看| 精品一二三区久久AAA片| 性生活久久人妻| 激情婷婷九月| 99精品在线| 欧美性丁香色色五月天| 大香蕉欧美在线| 亚洲色99| 婷婷五月噜噜| 五月婷婷亚洲| 午夜69成人做爰视频| 亚洲激情精品| 99在线69| 色婷婷丁香花五月天| www五月| 丁香五月天导航| 99色爱| 99久久五月婷婷| 天天久久人人| 另类婷婷五月天啪帕帕| 欧美三级欧美一级| 婷婷五月激情片| 亚洲AV另类| 色综合色色色| 五月婷婷丁香狠狠撸久久| 久青操| 伊人综合网站| 久久五月丁香| 99热久久这里只有精品| 婷香狠狠爱五月| 高清无码入口| 婷婷丁香五月在线播放| 激情六月婷婷| 激情5月婷婷| 五月婷婷色播| 亚洲综合干| 超碰色女| 中字幕视频在线永久在线观看免费| 婷婷五月花丁香| 五月丁香啪啪啪综合网| 91九色超碰| 亚洲欧洲国产精品| 五月丁香婷婷啪啪综合网| 任你操精品免费| 亚洲亚洲人成综合网络| 一区二区免费看| 五月婷人妻| 丁香五月婷婷偷拍| 欧美性生交xXxX久久久| 色色五月丁香婷婷| 色狠狠色噜噜噜a天堂一区| 爽极品色| 91女人18毛片水多国产| 97色色网| 欧美Va日本Va| 五月婷婷和六月| 久久99综合网| 97色精品视频 | 久久激情视频99| 婷婷五月天综合久久日美女| 五月天婷婷丁香| 无码人妻一区| 同性gv国产精品一区二区| 操人视频91| 99re热视频这里只精品| 婷婷精品在线| 婷婷五月天狠狠搞干| 天天做综合| 亭亭玉月丁香| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 九九大香蕉黄色影院| 精品亚洲国产成AV人片传媒| 色五月首页| 五月丁香婷婷成人综合网| 亚洲sesesese| 五月天婷婷亚洲| 国产午夜精品一区二区三区四区| 91人人操人人| 五月丁香人妻| www.色窝| www.久久| 99热加勒比| 婷婷丁香无码专区| 六月激情婷婷| 99热精品99| 日日爽天天| 美女丁香五月天| 婷婷九月亚洲| 亚洲啪啪自拍| 久久精品A片777777| 另类在线| 久9视频免费播放| 色婷婷六月天在线| 很很操96| 婷婷五月天综合网| 91se在线观看| 啪啪啪丁香五月| 99在线精品免费视频| 久综合色| 天天爽天天干| 婷婷五月天综合小说网| 丁香五月宝贝激情网| 欧美内射AA| 综合网网欲色| 色五月丁香com| 婷色五月天| 五月天激情小说| 久久婷婷五月天| 日日日天天干| 亭亭五月激情亚洲在线| 婷婷五月丁香高清无码| 婷婷在线精品| 久久总和99| 9久久久| 久久受www免费人成| 国产一区二区三区影院| 夜夜操狠狠操| 天天干天天干天天干天天干天| 蜜臀99精品| 九九热免费| 久久综合天天综合| 久久成人综合五月天| 香蕉综合网| 伊人久久大香线蕉av最新| 婷婷黄色五月| 99婷婷色| 精品操逼一区二区| 91夫妻网站九色| 国产日产亚系列精品版优势| 少妇高潮呻吟A片免费看软件| 丁香婷婷社区| 五月丁香在线观看| 伊人婷婷五月天| 91九色熟女| 色婷五月天| 色综合色色| 天天摸色吧天天摸色吧| 中文字幕婷婷五月天在线观看| 日本噜噜色网| 欧美综合激情五月| 丁香婷五月天| WwW天天干| 五月丁香婷婷五月色| 秋霞三级影视资源| 久久这有这里精品| 精品婷婷五月天| 99亚洲综合| 丁香六月 婷婷六月| 激情综合五月激情17| 五月丁香六月色婷婷综合五月天| 婷婷性爱| 丁香婷婷精品视频| 亚洲色色图片| 天天更新天天亚洲| 丁香六月啪| 久久久99婷婷久久久久久| 久久丝袜婷婷| 996er热| 大香蕉婷婷五月天| 日本久久99| 丁香婷婷人妻| 99re热| 色 丁香婷婷| 婷婷五月丁香五月天| 六月婷婷七月丁香| 九九热精品视频九九| 久狠日av| 99热在这里只有精品| ji'qi'luan'ren'lun| 九九热视| 性综合网| 日本色99| 五月婷婷综合网| 欧美成人va| 国产精品国产成人国产三级| 99精品偷自拍| 中文字幕丰满乱孑伦无码专区| 91呦呦呦| 久久青青日本视频| 九九re精品视频在线观看| 色五月婷婷中文字幕| 色五月丁香五月五月婷婷| 26uuuu精品一区二区| 亭亭五月天成人| 婷婷另类小说| 99视频35精品视频在线观看| 综合五月婷婷| 激情六月婷婷| 极品人妻VIDEOSSS人妻| 婷婷色色综合| 成人片在线免费看| 96精品久久久久久久久| 只有精品视频在线观看| 五月丁综合在线观看| 五月丁香花开综合网| 婷婷激情小说| 九九aV| 五月婷婷啪啪| 婷婷五月天 丁香五月天 裸体| 婷婷WWW久久| 亚洲碰碰碰| 啪啪啪大香蕉| 六月丁香五月亭亭| 五月激情综| 日本色99| 成人看片网站| 91九九九九九九| 99色精品| 五月天无码| 狠狠操狠狠狠| 五月天开心婷婷激情网站| 中文字幕AV在线播放| 色婷婷电影网| 久久这里只有精品视频15 | 国产真人做爰视频免费| 国产人人操| 96精品久久久久久久久| 激情美女五月天| 色婷婷先锋| 五月丁香成年黄色| 狠狠干综合| 91碰免费视频| 久久小视频| 665566 无码| 九九大香视频| 婷婷五月天777| 色色色色色色色色色色色色色色,网站| 玖玖午夜视频| 天天干天天干天天| 色色色五月| 91狠狠综合久久| 色狠狠综合| 中文字幕人妻在线| 日韩成人不卡| 9久久久久| 99热青青草原| 久久婷婷91| 中文字幕 中文字幕明步 | 五月综合色| 丁香五月ⅤA久久久| aaaaa黄色| 婷婷激情社区| 99爱精品| 国产精品视频网| 2050人人操免费工开爱| 综合网亚洲| 超碰国产在线| 熟女啪啪视频| 天天操九九插| 97人人操在线| 国产一级黄色影片,| 淫视馆aV二区一区| 欧美丁香五月| 国产免费一区二区在线A片视频| 青青草婷婷久久| 热久久99视频| 免费黄色AV| 色色五月婷婷网| 色色丁香婷婷| 五月情婷婷| 狠狠色婷婷7777久| 国产精品国产| WWW激情五月天| 婷婷五月激情综合| 激情五月九九九| 开心丁五月| 色五月婷婷91| 爱操天堂| 日日日,com| 激情五月天开心| 日韩黄色影院| 久草婷婷| 婷激情五月天视频导航| 婷婷综合激情| 日本乱子人伦在线视频| 久久9视频| 橾逼网| 免费看成人AA片无码视频吃奶| 人妻激情在线| 亚洲五月色| 99热免费| 亚洲区视频| 九热视频| 日韩AV免费电影在线播放| 超碰av在线| 婷婷另类小说| 99热8在线| 18av天堂| 99热爱爱干干日| 在线日韩av| 99久久综合网| 一本色道久久综合狠狠躁小说| 激情久久 婷婷| 狠狠插狠狠| 超碰狠狠操| 99热这里只有精品1025| 婷婷五月天第三页| 成人五月丁香花| 人人爱干人人爱草| 色婷婷婷婷| 久草五月婷| 天天天天天天天操| 成人做爰高潮A片免费视频| 成人丁香五月| 超碰在线超碰| 丁香五月97视频| 99福利视频| 激情第四色| 日本久久99| 激情五月婷| 久久大香蕉伊人| 婷婷五月六月激情| 成人做爰A片免费看网站找不到了| 亚洲操操| 九九色99| 亚洲成人超碰| 国产精品久久久海的味道| 丁香五月天91| www.com操| 婷婷色导航| www.yw尤物| 色狠狠综合网| 亚洲色图81p| 99热这里只有精品3| 91九九九色在| 99色热视频| 99网| 丁香五月图片| 五月婷婷激情综合| 亚洲激情四射| 99ri视频| 五月丁香av中文| 丁香五月六月综合激情| 大香蕉人人人| 久色婷婷200| 伊综合蕉| 中文国产五月天| 超碰成人黄色网| 五月天欧美 另类小说| 人妻AV在线| 最新日本A片| 少妇综合网| 一级片sese片.COM| 91碰碰| 婷婷久久亚洲| 五月停亭六月,六月停亭的英语| 在线观看av网站| 婷婷久久免费| 久久香蕉丁香| 色婷婷a| 超碰在线免费9| www.久久爱.com| 丁香五月综合激情性爱| 九九热99熟女| 九九人人精品| 伊人婷婷大香蕉| 色婷婷免费视频| 五月婷婷色影院| 91九色|疯狂|高潮|对白|| 伊人婷婷大香蕉| 中文精品在| 五月婷婷六月天| 超碰人人操在线| 久热婷婷| 亚洲思思热久| 国产精品色色| 色色色在线免费视频| 乱岳熟女50岁| tingtingzonghewang| yazhoujiqingav| 狠狠色精品综合| 丁香五月激情啪啪综合| 久久丁香五月婷| www:99热视频| www.色五月| 午夜九九九九九九九九九九九九九| 色九月婷婷丁香| 99riAV国产精品视频| 超碰在线人人| 99小视频| 可以免费观看的AV| 5月婷婷六月丁香| 久久九九激情五月天 | 久久大香蕉同僚| 婷婷久久网| 噜一噜免费视频| 亚洲无AV在线中文字幕| 五月天激情国产综合AV| 五月丁香色欲| 色五月婷婷综合| 欧美日韩成人在线网站| 国产99久久久| 99在线观看视频免费| 五月天激情婷婷| 九九在线免费观看| AV操一操| 婷婷娌伦网| a在线观看| 婷婷99狠狠躁天天躁| 这里只有国产精品在线| 99ri精品在线观看| 美国十月色婷婷在线观看| 人妻精品在线| 久久九九网| 五月天婷婷久久综合| 九九在线91| 天天色99| 久久五月天激情美女| 中文字幕无码人妻少妇免费视频| 岛国av电影网站| 超碰伊人碰婷婷五月| 五月婷亚洲精品AV天堂| xxxx五月激情| 青青草青青草五月天| www.com五月天| 91大神操美女| 九九在线精品| 天天操天爱综合| 久久婷婷东京热| 丁香五月天啪啪| 日本五月丁香| 久久99免费视频网站| 国产婷婷五月天| 久久色在线视频| 99精品丁香五月| 99久视频| 狠狠大香婷婷爱| 久久艹 五月天| 激情图片五月天| 9999久久久久| 久久97久久99久久综合欧美| 婷婷五月六月丁香| 婷婷99狠狠| 婷婷丁香五月综合网| 五月丁香啪啪| 婷婷五月丁香基地在线视频官网| 人人色人人弄人人操| 99re6久热只有精品6在线直播| 日韩啪啪视频| 偷拍丁香九月激情| 日本狠狠干| 高清无码.com| 五月丁香婷婷狠狠操| www.maotanji.com| site:minyis.com| 91热在线观看视频| 99精品自拍| 亚洲 在线 性爱| 婷色视频| www.99在线| 五月第四色| 9l视频自拍9l九色成人| 亚洲日韩久久婷婷伊人| 停停五月色宗合| 再次出发二| 免费成片在线观看| 激情小说婷婷| 色久五月天| 国产日比| 97午夜一区二区| 五月天激情影院| 99视频精品全部免费 在线| 97五月天婷婷综合激情网| 中文字幕在线免费观看视频| 99热在线精品观看| www.日本久久videos| 丁香九月色| 九九色逼| 热成人网| 99久久婷婷国产综合精品草原| 万月丁香狠狠爱| 色9999日韩国产| 五月丁香激情在线| 99热老网站| 999热这里只有美国精品| 九月婷婷久久久| 色狠狠综合| 婷婷伊人中文字幕| 久久综合五月情| 久久婷婷成人综合色怡春院| 五月天五月天成人网亭亭成人色网站| 在线播放成人网站| 另类国产欧美视频| 综合五月天| 狠狠干婷婷| 伊人丁香五月| 性生活视频98791| 大香蕉色婷婷伊人在线| 日韩成人无码人妻| 天天干com| 欧美性二区| 丁香色影院| 色五月情| 天堂A∨在线| 热99AV网站| 五五月丁香花激情综合网| 日韩国产在线免费观看| 日韩无码专区| 婷婷综合五月| 五月婷婷六月丁香综合| 久久99最新| 日本一级特黄大片AAAAA级| 九色在线五月婷婷网址| 99视频这里有精品| 激情综合激情综合| 色大综合| 思恩热国产视频右线观看| www.久久久久久久久久久| 无码少妇高潮喷水A片免费| 久九色| 欧美激情综合五月色丁香| 婷五月丁香| 中文字幕av在线| 91日综合欧美| 色狠狠色噜噜AV天堂五区 | 天天综合久久| WWW.夜夜| 激情色中文| 日本欧美国产| 婷婷久久欧美| 天堂无码人妻精品AV一区| 丁香五月香蕉| 日韩无码色色| 色婷婷五月网| 99热欧美在线观看| 26uuu丁香婷婷五月| 大香久久综合网| 风流少妇A片一区二区蜜桃 | 五月丁香婷婷色| 激情六月婷婷| 天天干天天操天天拍| 99视频精品8 | 91丁香婷婷综合资源| 91久久精品国产91性色TV| 激情五月综合| 色婷婷88| 成人免费va| 亚洲99在线| 激情涩涩网| 色欲久久综合| 黑人熟妇一区二区三区| 丁香婷婷五月综合欧美另类| 在线观看免费人成视频无码| www.五月.com| 久久婷婷网| 丁香五月婷婷网| 亚洲激情免费视频| 久久伊人日日夜夜| 丁香五月天天哦| 色久九| 九九色逼| 久久久激情视频| 五月丁香综合激情| 婷婷五月天在线观看免费 | 五月丁香婷爱在线| 激情亚洲婷婷六月| 婷婷另类开心| 九九综合视频在线观看| 最新av在线观看| 99热碰碰| 久久婷婷六月综合综合| 日本三级日本黄色| 久爱综合| 精品夜夜澡人妻无码AV| 久久婷五月天| 五月婷婷啪啪| 99九九精品| 91玖玖| 成人版视频在线观看| 五月天天久久香| 婷婷无码五月天| 人草人人| 日日狠狠久久偷偷四色综合免费| 九九这里精品| 婷婷五月俺要去| 《战争与艾拉》完整版| 99久久丝| 丁香五月香蕉在线| 久久这里精彩免费在线观看| 91爱啪啪| 激情五月综合网最新| 丁香婷婷91在线观看视频| 91pornav在线| 久久精品女人天堂AAA| 丁香五月成人自拍| 激情婷婷。| 天色色综合网| 大大香蕉综合在线| 亚洲韩国日产综合AV| 色色色丁香| www.亚洲激情.com| 成人五月天。COM| 亚洲永远av在线播放| 日本韩国视频在线观看社区免费的9| 丁香五月天成人| 色色婷婷综合| 桃色五月婷婷| 色欲AVV| AV片在线观看| 97色综合视频| 色碰97| 9 大屁股在线视频精品| 丁香伊人五月色婷婷五十路| 婷婷五月丁香综合桃花色网| se婷97| 久久精品天| 婷婷五月天精品| www.99日本| 丁香六月激情| 九九色婷婷| 五月色在线| 色综合色婷婷色伊人| 日韩人妻无码一区二区| 色情丁香五月天| 激情丁香网| 丁香六月天婷婷开心综合| 欧美草久久五月天91| 亚亚州久久高潮| 色99视频| 99九九99九九九视频精彩| 综合激情婷婷| 天天天天操| 噼里啪啦完整版中文在线观看| 国产成人精品一区二区三区视频| 黄色国久久| 色拍九九九| 婷婷六月色情| 4399人妻无码久久久| 超碰女人天堂| 久久视频66| 五月婷成人网| 天天热夜夜操| 五月亭亭六月天| 五月天激情综合网| 亚洲av免费在线| 久久九九国产精品怡红院| 色婷婷丁香A片区毛片区女人区| 色欧美一级| 色99xx| 丁香五月激情综合婷综| 久久婷婷啪啪视频| 天天噜天天插| 天天日夜夜草进麻麻的子宫| 99热这里只有精品一区| 日日杆天天| 五月丁香91| 久操热线| 国产成人AV不卡| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 影音先锋男人资源站一区二区| 久久在这里99| 都市激情蜜桃婷婷五月天| 婷婷丁香五月天小说| 婷婷五月天免费视频| 九九热99免费视频| 极品人妻VideOssS人妻| 图片区 小说区 区 亚洲五月 | 免费无码毛片一区二区A片| 丁香五月熟女| www,色婷婷| 美女亚洲五月丁香| 中文字幕 久久9999| 91九色精品熟女内射| 婷婷涩五月| 天天日日人| 中文字幕性爱丰满| 亚洲精品婷婷| 在线99热| 午夜69成人做爰视频| 色色草97| 中文精品在| 99超在线| 日本操逼九九九九58日本操逼| 男人的天堂五月丁香| 97五月天| 天天综合区| 丁香婷婷九月| 99成人精品六| 天天久综合| 激情AV| 久久精品A片777777| www色综合亚洲92| 色五月激情视频在线综合| 激情五月天网页| 玖玖五月丁香| 99操99| 一区二区你懂的| 亲子乱AV一区二区三区下载| 亚洲丁香五月深爱五月| 日本色狠狠| 色色性爱视频| 色99久草在线| 亚洲第一成人无码A片| 情欲综合网| 99热97| 色色综合网站| ww超碰在线| 91超级碰碰| 婷婷五月天电影在线| 色五月综合在线| 中文字幕网伦射乱中文| 日本人人草草| 婷婷五月天激情在线观看 | 丁香五月综合激情性爱| 色色热| 色色色色色五月| 色婷婷中文字母五月丁香| 五月婷在线视频免费看| 思思热精品在线视频| 久久这里只有精品视频15| 久久婷婷色色| 欧美英丁香开心快乐六月天网| 99在线视频资源| 中国女人内射6XXXXX| www.婷婷,com| 狠狠干在线视频| 天天干天天操天天射| 丁香婷婷综合激情五月色| 91九色中文| 丁香五月激情欧欧美| 99热精品在线| 成人午夜天| 五月婷六月| 丁香婷婷六月激情综合| 9精品在线| 五月伊人91| 五月婷婷综合激情| 丁香五月婷综合网| 成人av免费观看|