欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

AI推理加速:CANN Ops-CV算子庫如何讓預(yù)處理不再拖后腿

AI推理加速:CANN Ops-CV算子庫如何讓預(yù)處理不再拖后腿 做 AI 推理落地的人應(yīng)該都有同感模型跑起來只是第一步真正磨人的是模型前后的那一段數(shù)據(jù)處理。輸入一張 1080P 的圖先要解碼、縮放、色彩空間轉(zhuǎn)換、歸一化數(shù)據(jù)才能喂進(jìn)網(wǎng)絡(luò)推理完也不是終點(diǎn)輸出還得分揀、解碼、NMS才能變成業(yè)務(wù)能用的檢測框。這一整條鏈路上CANN Ops-CV 倉庫做的事情就是把計(jì)算機(jī)視覺里最高頻的核心算子沉淀成高性能實(shí)現(xiàn)讓它們直接運(yùn)行在 AI 處理器的專用計(jì)算單元上避免預(yù)處理和后處理變成整個(gè)推理鏈路的短板。這篇文章我會(huì)結(jié)合自己在一個(gè)檢測項(xiàng)目里的實(shí)操經(jīng)歷拆解這個(gè)倉庫的定位、算子分類、底層加速機(jī)制、跑通算子的完整過程以及實(shí)際踩過的坑給準(zhǔn)備在異構(gòu) AI 平臺(tái)上做 CV 推理的同學(xué)一份可以直接參考的資料。1. 它解決的問題為什么 CV 算子不能全堆在 CPU 上1.1 推理鏈路里被低估的預(yù)處理和后處理先算一筆時(shí)間賬。在一個(gè)典型的端到端檢測服務(wù)里模型在 AI 處理器上跑一次前向可能只要 2~3 毫秒但如果預(yù)處理放在 CPU 上做讀圖、resize、轉(zhuǎn) RGB、減均值除方差1080P 的輸入在普通服務(wù)器上差不多要 4~6 毫秒后處理再做一次閾值過濾和 NMS又是 1~2 毫秒。也就是說模型算得快反而讓 CPU 上的那部分變成了整條鏈路最短的一塊板。更麻煩的是CPU 還要同時(shí)承擔(dān)推理框架調(diào)度、網(wǎng)絡(luò)收發(fā)、業(yè)務(wù)邏輯預(yù)處理一旦占住核整體吞吐就會(huì)被拖下來。把算子挪到 AI 處理器上有兩個(gè)直接好處。第一AI 計(jì)算單元在一段時(shí)間內(nèi)只處理當(dāng)前 batch其他時(shí)間段是閑置的用這些碎片時(shí)間做像素級(jí)操作幾乎不增加全鏈路延遲第二數(shù)據(jù)不用在主板上來回搬運(yùn)預(yù)處理后的張量直接留在加速卡內(nèi)存里喂給模型省掉了內(nèi)存拷貝那一大筆開銷。這也是 Ops-CV 這類算子倉存在的根本出發(fā)點(diǎn)不是為了替代 OpenCV而是要把 CV 處理留在加速鏈路內(nèi)部讓模型前后的所有操作都在一個(gè)高效閉環(huán)里完成。1.2 把 OpenCV 代碼“搬進(jìn)去”為什么行不通很多同學(xué)第一反應(yīng)是把 OpenCV 的源碼交叉編譯到 AI 平臺(tái)上不就行了這事我一開始也干過實(shí)際跑起來問題一堆。首先是硬件差異AI 處理器通用核少、主頻低它快在專用計(jì)算陣列上而 OpenCV 的算法是為通用處理器的 SIMD 指令優(yōu)化過的交叉編譯過去等于放棄加速優(yōu)勢(shì)。其次是訪存差異像素級(jí)算子對(duì)內(nèi)存訪問模式非常敏感AI 加速卡里有獨(dú)特的存儲(chǔ)層次和搬移引擎代碼不改性能上不去。再加上數(shù)據(jù)布局不匹配模型要的是 NCHW 甚至更特殊的五維格式OpenCV 輸出的是標(biāo)準(zhǔn)圖像布局中間必然多一次昂貴的格式轉(zhuǎn)換轉(zhuǎn)換的代價(jià)有時(shí)候比算子本身還高。所以 Ops-CV 的每個(gè)算子幾乎都是針對(duì) AI 處理器的存儲(chǔ)層次和計(jì)算單元重新設(shè)計(jì)的誰負(fù)責(zé)切分?jǐn)?shù)據(jù)、誰負(fù)責(zé)搬運(yùn)、誰負(fù)責(zé)向量運(yùn)算、精度怎么對(duì)齊這些是重寫時(shí)才會(huì)考慮的問題。這解釋了為什么倉庫里的算子雖然名字和 OpenCV 一樣內(nèi)部實(shí)現(xiàn)完全是另一套東西。我在項(xiàng)目里對(duì)比過同樣一個(gè)雙線性 resize直接搬到加速卡上的 OpenCV 實(shí)現(xiàn)比倉庫算子慢三倍還多而且內(nèi)存訪問錯(cuò)亂導(dǎo)致偶發(fā)崩潰最后只能老老實(shí)實(shí)用倉庫方案。1.3 倉庫的生態(tài)位算力與易用性之間的平衡點(diǎn)從軟件棧看Ops-CV 位于運(yùn)行時(shí) API 之上、應(yīng)用框架之下。它對(duì)上層提供統(tǒng)一的算子接口對(duì)下層屏蔽 AI 處理器的細(xì)節(jié)。開發(fā)者不需要理解 Tiling、流水線、向量指令只需要知道這個(gè)算子的語義和參數(shù)同時(shí)因?yàn)閷?shí)現(xiàn)是固定的、經(jīng)過驗(yàn)證的性能表現(xiàn)也是可預(yù)期的。這個(gè)可預(yù)期在工程上非常重要——同樣的算子如果大家各寫各的性能差三倍五倍都正常倉庫統(tǒng)一沉淀一套實(shí)現(xiàn)整個(gè)生態(tài)里的項(xiàng)目起點(diǎn)就拉齊了。另外倉庫還自帶測試用例和基準(zhǔn)數(shù)據(jù)。團(tuán)隊(duì)接手的項(xiàng)目如果換了硬件平臺(tái)算子接口不變回歸測試可以直接復(fù)用遷移成本一下子就降下來了。這一點(diǎn)在我維護(hù)長期項(xiàng)目時(shí)感受特別深算子行為穩(wěn)定業(yè)務(wù)代碼就不用反復(fù)調(diào)整。2. 算子清單與實(shí)現(xiàn)思路拆解CV 算子到底有哪些講究2.1 像素級(jí)算子讓數(shù)據(jù)的形狀和數(shù)值都合身像素級(jí)算子處理的是每個(gè)像素獨(dú)立運(yùn)算的問題典型代表是色彩空間轉(zhuǎn)換、Resize、歸一化、翻轉(zhuǎn)??雌饋砗唵蔚珜?shí)現(xiàn)細(xì)節(jié)非常多。色彩空間轉(zhuǎn)換最常用的是 RGB?BGR、RGB→Gray、RGB→YUV以及在視頻場景里繞不開的 NV12→RGB。NV12 是硬件視頻解碼器最常吐出來的格式Y(jié) 平面和 UV 交錯(cuò)平面的內(nèi)存布局比較特殊轉(zhuǎn)出來還要配上寬高對(duì)齊一個(gè)對(duì)齊沒做好整張圖就是花的。實(shí)現(xiàn)時(shí)一般先把公式展開把系數(shù)轉(zhuǎn)成定點(diǎn)數(shù)計(jì)算避免浮點(diǎn)導(dǎo)致不同平臺(tái)結(jié)果不一致。這里有個(gè)容易被忽略的點(diǎn)很多 AI 模型訓(xùn)練時(shí)用的是固定的均值方差而視頻流里是 BGR 順序順序和數(shù)值兩件事都要對(duì)齊錯(cuò)任何一個(gè)模型精度立刻變差。我排查過一次線上精度掉點(diǎn)最后定位就是預(yù)處理里把 RGB 當(dāng) BGR 用了模型本身完全沒問題。Resize 是另一個(gè)看著簡單、實(shí)際很見功底的算子。以雙線性插值為例每個(gè)輸出像素要找到它在原圖中的浮點(diǎn)坐標(biāo)再取周圍四個(gè)像素加權(quán)。CPU 上這段邏輯很直白但在 AI 處理器上要注意的是四個(gè)相鄰像素的讀取可能跨內(nèi)存行直接逐像素算會(huì)讓向量單元效率很低。比較常見的做法是先計(jì)算好坐標(biāo)映射表然后按行或按塊處理讓相鄰輸出像素盡可能共享輸入數(shù)據(jù)配合 DMA 批量搬入。邊界處理也要統(tǒng)一策略是 clamp、鏡像還是補(bǔ)零必須和訓(xùn)練時(shí)保持一致否則推理結(jié)果和離線評(píng)測對(duì)不上。歸一化算子是典型的融合對(duì)象。減均值、除方差、可能再加上通道重排和量化縮放這些步驟如果能在一個(gè) kernel 里一次完成內(nèi)存帶寬的節(jié)省非??捎^。實(shí)踐中我通常把歸一化和前面的色彩轉(zhuǎn)換、Resize 合并成一個(gè)算子整個(gè)預(yù)處理就變成一次大搬運(yùn)加一次計(jì)算而不是三段式的小搬運(yùn)。數(shù)據(jù)每在內(nèi)外存之間倒一次手都有額外開銷少倒一次就是實(shí)打?qū)嵉奶崴佟?.2 幾何變換坐標(biāo)系映射比像素搬運(yùn)更值得摳仿射變換、透視變換、旋轉(zhuǎn)、翻轉(zhuǎn)這類算子計(jì)算的核心不在搬運(yùn)像素而在怎么把目標(biāo)像素映射回原圖。拿 warpAffine 舉例6 個(gè)參數(shù)構(gòu)成的矩陣可以把一個(gè)矩形映射成任意平行四邊形。正向映射遍歷原圖像素寫到目標(biāo)位置會(huì)產(chǎn)生空洞和重疊所以工程上幾乎都采用反向映射遍歷輸出圖每個(gè)像素用逆矩陣算出它在原圖中的位置再取周圍像素插值。這樣每個(gè)輸出像素都有確定的值實(shí)現(xiàn)也更規(guī)整。在 AI 處理器上做反向映射麻煩的是輸出坐標(biāo)是浮點(diǎn)計(jì)算出來的落回整數(shù)像素坐標(biāo)后取數(shù)范圍不確定DMA 搬運(yùn)的邊界也變復(fù)雜。透視變換更甚8 個(gè)參數(shù)邊界上的坐標(biāo)可能跑到很遠(yuǎn)。我的建議是先把變換矩陣和逆矩陣在 Host 側(cè)算好Device 側(cè)只做查表和插值如果業(yè)務(wù)允許還能用單應(yīng)性變換做近似省掉除法效率更高。這些算子雖然看起來小眾但做數(shù)據(jù)增強(qiáng)、圖像矯正、文字檢測預(yù)處理時(shí)都是剛需。2.3 濾波與邊緣從滑窗到可分離卷積濾波算子看著基礎(chǔ)但在 AI 處理器上降速的差異很大。高斯模糊這類卷積核是可分離的一個(gè) 5x5 的核可以先做水平一維濾波再做垂直一維濾波計(jì)算量從 25 次乘加降到 10 次?;暗泥徲蛟L問在連續(xù)行上還好但跨行就牽扯到行緩沖和重疊區(qū)搬運(yùn)這給 Tiling 帶來了額外約束。切分時(shí)每個(gè)計(jì)算核要負(fù)責(zé)自己那份行條帶還得帶上一圈 halo 重疊行搬運(yùn)量就漲上去了所以濾波算子的性能瓶頸常常不在計(jì)算而在邊界數(shù)據(jù)的重復(fù)搬入。均值模糊可以用積分圖做也可以直接用可分離的 Box 濾波等價(jià)。中值濾波更麻煩本質(zhì)是排序問題向量單元不擅長比較密集的分支操作一般會(huì)改用直方圖法或其他近似策略。Sobel 這類邊緣算子實(shí)現(xiàn)相對(duì)溫和本質(zhì)就是兩次可分離濾波再加一個(gè)梯度幅值計(jì)算Canny 就復(fù)雜了非極大值抑制和雙閾值滯后這兩個(gè)環(huán)節(jié)存在大量條件分支不太適合在向量單元上直接寫。如果一定要在加速卡上跑 Canny通常的做法是讓通用核處理后兩段前端的梯度計(jì)算交給向量單元各用所長。2.4 檢測后處理真正決定端到端效果的算子后處理經(jīng)常被當(dāng)成分內(nèi)小事實(shí)際上它對(duì)端到端結(jié)果的影響非常大。以單階段檢測為例模型輸出的是一堆卷積結(jié)果每個(gè)格子都有若干候選框的偏移量、置信度和類別概率。后處理要把這些原始數(shù)值解碼成真實(shí)坐標(biāo)做閾值過濾再做 NMS 去掉重復(fù)框。解碼部分包括激活函數(shù)、坐標(biāo)變換、每個(gè)格子的偏移累加這些是典型逐元素或逐局部運(yùn)算放到向量單元上很合適。麻煩的是 NMS。NMS 有兩個(gè)內(nèi)在矛盾一是它天然串行一個(gè)框要不要?jiǎng)h取決于它和更高分框的 IoU而排序又讓順序不確定二是同一張圖里的框數(shù)量每次都不同動(dòng)態(tài)形狀對(duì) AI 核并不友好。目前常見的優(yōu)化思路是先按類別分組再按分?jǐn)?shù)降序用足夠大的固定緩沖處理最大框數(shù)閾值過濾盡可能提前減少候選集也有的實(shí)現(xiàn)會(huì)把多個(gè)框之間的 IoU 計(jì)算矩陣化一次算出一組框的 IoU 矩陣再用向量指令做閾值判斷減少串行等待。實(shí)測下來合理的閾值過濾能把 NMS 的耗時(shí)砍掉一半以上這個(gè)錢花得最值。Anchor 生成和網(wǎng)格坐標(biāo)預(yù)計(jì)算相對(duì)無腦但價(jià)值在于消除重復(fù)勞動(dòng)可以在 Host 側(cè)一次性生成常量表Device 側(cè)直接查避免每次推理都重復(fù)算。這類小優(yōu)化不起眼但在高吞吐服務(wù)里每一處省下的微秒都會(huì)疊加到 QPS 上。3. 算子為什么能在 AI 處理器上“快”底層關(guān)鍵機(jī)制3.1 數(shù)據(jù)布局五維格式與通道對(duì)齊很多人在算子實(shí)現(xiàn)上栽跟頭第一個(gè)坑就是數(shù)據(jù)布局。AI 處理器上的張量很少直接是 NCHW 或 NHWC而是一種把通道進(jìn)一步切塊的格式工程上常見的是把 C 維拆成 C1 和 C0 兩段形成 N_C1_H_W_C0 的五維表示其中 C0 通常是 16 或 32 的整數(shù)倍。這么做的原因很簡單向量單元每次讀寫的位寬是固定的通道方向上湊不夠一個(gè)對(duì)齊單位就會(huì)浪費(fèi)帶寬、增加邊界分支。對(duì)于 CV 算子來說這意味著你在寫色彩轉(zhuǎn)換、歸一化之前必須先明確輸入的 C0 對(duì)齊方式。比如三通道 RGBC016 時(shí)中間會(huì)有大量 padding如果算子按 C 連續(xù)處理可能一個(gè)像素的三通道被拆到不同通道塊里。所以 CV 算子通常寧可先把數(shù)據(jù)轉(zhuǎn)換到 NHWC再做逐像素計(jì)算最后再轉(zhuǎn)回模型需要的布局——中間多一次格式轉(zhuǎn)換也比在五維格式上硬寫簡單得多。但既然轉(zhuǎn)換也是一次全量搬運(yùn)能融合就不要拆分這又回到了前面說的算子融合思路每一次格式轉(zhuǎn)換都是在燒帶寬能不轉(zhuǎn)就不轉(zhuǎn)。3.2 切分把一張大圖交給多個(gè)計(jì)算核AI 處理器上通常有多個(gè) AI 計(jì)算核算子想快必須把數(shù)據(jù)切到多核上并行。圖像數(shù)據(jù)最自然的切分是沿 H 方向切成若干條帶每個(gè)核處理一行或幾行。切分聽起來簡單里面有三個(gè)講究。第一是切分粒度。塊太大后啟動(dòng)的核等前面的搬運(yùn)利用率低塊太小每個(gè)核的開銷相對(duì)變高DMA 搬運(yùn)的啟動(dòng)成本攤不薄。一般是根據(jù)算子類型、可用片上存儲(chǔ)和圖像尺寸算一個(gè)經(jīng)驗(yàn)區(qū)間再留參數(shù)給調(diào)優(yōu)器調(diào)。第二是重疊區(qū)。濾波類算子需要鄰域像素每個(gè)核處理的行條帶要額外搬入上下各若干行這段重疊區(qū)也叫 halo要單獨(dú)處理不能算進(jìn)有效輸出否則輸出的行數(shù)就對(duì)不上。第三是切分對(duì)齊。塊寬要盡量服從 16 字節(jié)或按 C0 對(duì)齊的約束否則搬運(yùn)會(huì)分裂成很多小請(qǐng)求帶寬直接掉一大截。3.3 流水線DMA 搬運(yùn)和向量計(jì)算的并行我曾見過一個(gè)算子代碼邏輯完全正確性能卻只有預(yù)期的三分之一最后定位發(fā)現(xiàn)是算的時(shí)候在等數(shù)據(jù)搬數(shù)據(jù)的時(shí)候計(jì)算單元在睡大覺。AI 核上數(shù)據(jù)搬運(yùn)、向量計(jì)算、標(biāo)量控制是三條不同流水理想狀態(tài)下應(yīng)該讓它們同時(shí)忙DMA 預(yù)取下一塊數(shù)據(jù)的同時(shí)向量單元算當(dāng)前塊標(biāo)量單元同步更新地址。這就是常說的雙緩沖或多緩沖。理解這個(gè)機(jī)制可以用一個(gè)類比食堂打飯一個(gè)人既要炒菜又要盛飯又要擦桌子肯定慢合適的分工是先把下一桌的菜備好這邊同時(shí)給上一桌盛飯。要拿到這個(gè)效果寫算子時(shí)要注意兩點(diǎn)。一是循環(huán)體的迭代步驟里計(jì)算和搬運(yùn)要在不同 buffer 上交替能不能交替看 buffer 是否足夠不夠就只能退化成串行。二是要主動(dòng)控制預(yù)取深度不要等 DMA 完成事件到了才發(fā)下一次搬運(yùn)而是提前把地址和長度準(zhǔn)備好。實(shí)際調(diào)優(yōu)中我習(xí)慣把帶寬利用率當(dāng)作第一指標(biāo)看搬運(yùn)占用的時(shí)間如果沒和計(jì)算重疊利用率很難超過一半。優(yōu)化順序也基本固定先看訪問總量能不能減再看搬運(yùn)和計(jì)算有沒有重疊最后才看指令級(jí)的優(yōu)化。3.4 精度策略不同算子要有不同取舍AI 處理器的計(jì)算單元為了速度會(huì)傾向使用低精度但 CV 算子對(duì)精度要求各不相同需要分別處理。色彩轉(zhuǎn)換、歸一化這類算子輸出往往直接作為模型輸入精度誤差會(huì)被后續(xù)網(wǎng)絡(luò)放大我一般會(huì)用 FP32 做中間累加最后再轉(zhuǎn)成模型需要的 FP16均值方差計(jì)算里也要注意累加順序用 FP16 累加小數(shù)值很容易漂移結(jié)果就是和 CPU 參考實(shí)現(xiàn)一對(duì)比diff 老是壓不下去。Resize 插值的權(quán)重是固定系數(shù)轉(zhuǎn)成定點(diǎn)整數(shù)后計(jì)算完全可復(fù)現(xiàn)反而比浮點(diǎn)更穩(wěn)定。NMS 的 IoU 計(jì)算用 FP16 也夠但分?jǐn)?shù)排序階段的比較精度如果不夠會(huì)出現(xiàn)兩個(gè)相同分?jǐn)?shù)的框被順序敏感地保留或刪除表現(xiàn)為同一張圖多次推理結(jié)果輕微抖動(dòng)??傊款愃阕拥木炔呗圆皇桥哪X袋定的而是用可接受誤差范圍 與 CPU 參考實(shí)現(xiàn)的 diff這個(gè)標(biāo)準(zhǔn)去約束每次改動(dòng)都跑一遍 diff 測試心里才有底。4. 實(shí)操記錄完整跑通 Resize 歸一化算子的過程4.1 準(zhǔn)備工作與算子包安裝以我的某檢測項(xiàng)目為例環(huán)境是一臺(tái)裝了 AI 加速卡的主機(jī)CANN 工具鏈已經(jīng)部署好。第一步是確認(rèn)版本和算子包是否匹配這一步非常容易踩坑驅(qū)動(dòng)、運(yùn)行時(shí)、算子包的版本只要有一個(gè)不一致算子加載階段就會(huì)報(bào)各種看不懂的錯(cuò)誤。我把版本號(hào)統(tǒng)一寫在一個(gè)環(huán)境變量文件里每次換機(jī)器先 source 一下省得排查半天發(fā)現(xiàn)是版本問題。接下來是算子包安裝。Ops-CV 倉庫里的算子一般會(huì)隨發(fā)布介質(zhì)提供離線包安裝完成后可以查詢已注冊(cè)的算子列表確認(rèn) Resize 和 Normalize 確實(shí)在列。如果是自己改內(nèi)核代碼則要走算子工程的編譯流程把算子編譯成二進(jìn)制再部署到指定目錄。第一次編譯通常比較慢主要時(shí)間花在生成針對(duì)不同 shape 的編譯產(chǎn)物上。這里有個(gè)經(jīng)驗(yàn)如果只是調(diào)參不用每次重編全套把算子包的緩存目錄保留好增量編譯能快很多。4.2 調(diào)用側(cè)代碼怎么寫用運(yùn)行時(shí) API 調(diào)算子整體邏輯很直觀準(zhǔn)備輸入輸出張量的描述符把輸入數(shù)據(jù)拷進(jìn)加速卡內(nèi)存然后調(diào)用算子接口。下面是一段典型調(diào)用代碼的骨架// 偽代碼基于運(yùn)行時(shí) API 調(diào)用 Resize Normalize 融合算子 auto desc_in aclCreateTensorDesc(ACL_FP16, 3, {1, 3, 1080, 1920}, ACL_FORMAT_ND); auto desc_out aclCreateTensorDesc(ACL_FP16, 3, {1, 3, 540, 960}, ACL_FORMAT_ND); void* dev_in nullptr; void* dev_out nullptr; aclMalloc(dev_in, in_bytes, ACL_MEM_MALLOC_NORMAL_ONLY); aclMalloc(dev_out, out_bytes, ACL_MEM_MALLOC_NORMAL_ONLY); // 拷入輸入圖像已解碼為 BGR 的原始數(shù)據(jù) aclrtMemcpy(dev_in, in_bytes, host_buffer, in_bytes, ACL_MEMCPY_HOST_TO_DEVICE); // 設(shè)置屬性目標(biāo)寬高、插值方式、均值方差 OpResizeNormalize op(540, 960, ACL_INTERP_LINEAR, mean, std); op.SetInput(0, desc_in, dev_in); op.SetOutput(0, desc_out, dev_out); // 執(zhí)行 op.Launch(stream); aclrtSynchronize(stream); // 輸出直接送到下一個(gè)模型算子 model_input dev_out;一個(gè)關(guān)鍵點(diǎn)是輸出張量可以直接作為下一個(gè)算子的輸入不需要拷貝回 Host。這就是讓整條鏈路留在加速卡里的意義中間結(jié)果始終在設(shè)備內(nèi)存里省掉了兩次 PCIe 傳輸。如果項(xiàng)目里存在從卡上拷出來處理完再拷回去的寫法請(qǐng)務(wù)必想辦法改掉這往往是最隱蔽的性能黑洞拷來拷去可能比算子本身還慢。4.3 性能對(duì)比一次真實(shí)的優(yōu)化過程第一次我把 Resize 和歸一化分開實(shí)現(xiàn)先跑基準(zhǔn)。1080P→540P 的線性插值CPU 上用 OpenCV 大約 3.5ms加速卡上這個(gè)算子單獨(dú)跑大概 1.2ms看起來已經(jīng)不錯(cuò)但帶寬利用率只有 60% 左右。問題出在哪我觀察到一個(gè)現(xiàn)象算子執(zhí)行時(shí)間內(nèi)搬運(yùn)總字節(jié)數(shù)是輸入加輸出約 12MB按理論帶寬算應(yīng)該 0.8ms 就能搬完說明計(jì)算和搬運(yùn)沒有完全重疊。優(yōu)化動(dòng)作有兩個(gè)。一是把 Resize 和歸一化融合成一個(gè) kernel輸入只讀一次、輸出只寫一次總訪問字節(jié)數(shù)直接下降二是給內(nèi)核加上雙緩沖預(yù)取下一塊輸入的同時(shí)計(jì)算當(dāng)前塊。改動(dòng)后算子整體耗時(shí)降到 0.7ms帶寬利用率接近 85%。這個(gè)案例說明算子優(yōu)化的第一杠桿永遠(yuǎn)是減少數(shù)據(jù)訪問總量第二杠桿才是提高訪存并行度純粹的指令優(yōu)化在內(nèi)存密集型的 CV 算子上的收益反而有限。之后每次做性能預(yù)估我都會(huì)先問一句這個(gè)算子到底要讀多少、寫多少能不能更少。5. 高頻問題與避坑指南5.1 實(shí)測高頻問題速查表現(xiàn)象常見原因排查思路算子加載失敗報(bào)版本相關(guān)錯(cuò)誤驅(qū)動(dòng)/運(yùn)行時(shí)/算子包版本錯(cuò)位先統(tǒng)一版本再復(fù)現(xiàn)檢查環(huán)境變量輸入總是黑圖或花屏色彩順序錯(cuò)了或 NV12 轉(zhuǎn) RGB 公式不對(duì)用純色圖逐通道檢查確認(rèn)順序輸出尺寸對(duì)但內(nèi)容錯(cuò)位數(shù)據(jù)布局不是預(yù)期的 NHWC打印每個(gè)通道第一個(gè)元素對(duì)比性能只有預(yù)期一半DMA 與計(jì)算沒有重疊看帶寬利用率檢查是否有隱式同步同一輸入多次推理結(jié)果不同F(xiàn)P16 比較精度不夠或并行切分不確定排序和比較用 FP32固定切分策略小分辨率圖崩潰切分粒度或 buffer 尺寸小于下限檢查對(duì)齊和最小塊約束表格里的前兩條我都在項(xiàng)目里真實(shí)遇到過。特別是版本不匹配癥狀經(jīng)常是錯(cuò)誤碼完全看不懂最后逐版本排查才定位到是某個(gè)組件多升了一個(gè)小版本。建議從一開始就把版本鎖死并且用容器鏡像把環(huán)境固化下來這樣換機(jī)器、加節(jié)點(diǎn)都不會(huì)出幺蛾子。5.2 幾條值得記住的經(jīng)驗(yàn)第一優(yōu)先復(fù)用倉庫已有算子不要一上來就自己寫內(nèi)核。自己寫 CV 算子的成本遠(yuǎn)高于寫個(gè)矩陣乘法因?yàn)閳D像邊界、通道對(duì)齊、插值策略這些細(xì)節(jié)太瑣碎任何一個(gè)考慮不周后面都是坑。倉庫算子的實(shí)現(xiàn)雖然不一定針對(duì)你的特定 shape 最優(yōu)但正確性和穩(wěn)定性是驗(yàn)證過的先把鏈路跑通再談定制。第二把端到端精度對(duì)比當(dāng)成每次改動(dòng)后的必跑測試拿一組固定圖像對(duì)比 CPU 參考輸出和加速卡輸出的 diffdiff 超過閾值立刻查不要等上線后才發(fā)現(xiàn)。這個(gè)習(xí)慣幫我在項(xiàng)目里攔住過至少三次回歸每次都是看似無害的小改動(dòng)引入了偏差。第三復(fù)雜后處理盡量拆成可并行部分 少量串行部分。可并行部分上向量單元串行部分原子化或放到通用核不要試圖讓整個(gè) NMS 在一個(gè)核內(nèi)線性完成。并行部分和串行部分的邊界設(shè)計(jì)決定了后處理在 batch 變大時(shí)是線性擴(kuò)展還是卡死在一個(gè)核上。最后再分享一個(gè)小技巧我在做性能分析時(shí)最常用的指標(biāo)不是算子耗時(shí)而是有效字節(jié)數(shù) / 實(shí)際耗時(shí)可達(dá)到的帶寬。這個(gè)比值如果低于 60%八成是有數(shù)據(jù)沒在用、或者搬運(yùn)在等計(jì)算、或者有多余的格式轉(zhuǎn)換。先把這條追平再談指令級(jí)的優(yōu)化。很多看起來玄乎的性能問題追到最后其實(shí)都是數(shù)據(jù)路徑上的浪費(fèi)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美性丁香色色五月天干干| 1024操逼| 常久最新免费的色吊丝| 男人天堂 久久| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 丁香六月AV| 91人人爱| 91婷婷色五月| 久久久久久久久久人妻| 久久视频婷婷| 伊人超碰在线| 日本色婷婷| 色播五月天激情| 色网站99| 久久久思思热| 97色碰| 97碰| 国产无人区大片| 伊人丁香花综合影院| 欧美在线骚货| www热久久yy9| 六月婷婷综合久久| 激情碰碰碰| 任你干aa| 月色色综合婷婷网| 五月间天堂综合| 日日.c| 亚洲精品V天堂中文字幕| 久草五月婷婷| 天天爽天天爽| 国产成人精品一区二三区熟女在线| 99热伊人| www.婷婷| 丁香婷婷九月| 久色激情| 香蕉久久国产AV一区二区| 婷婷五月天无码熟女| www.久久久.com| 人人插9| 啪啪五月婷婷| 中文字幕高清av| 国产三级在线播放| 婷婷丁香先锋资源网站| h亚洲| CAOBIBI| 中文字幕欧美日韩VA免费视频| 免费观看全黄做爰的视频| 在线婷婷| 99热在线观看精品| 久久免费操| 99精品爱| 夜夜爱爱亚洲| 日韩欧美一级大黄网站| 大香蕉婷婷五月| 开心五月六月婷婷| 99久久亚洲精品视频| 欧洲综合一区| 成人五月天丁香| 欧美天天草人人草| 色欲日日躁| 亚州激情在线视频| 天天色色天天| 激情内射人妻1区2区3区| 人妻熟女一区二区AV| 婷香五月| 超碰v| 不卡在线中文字幕无| 99精品久久| 五月丁香五月婷婷| 五月叮香啪| 99亚色色色| 精品网站99| 97人人看| 九九99九九99九九99视频网| 另类天堂| Av在线不卡一区| 丁香五月开心婷婷| 天天色激情| 婷婷丁香五月综合网上| 大香焦A∨| 日韩黄色中文字幕| 六月久久婷婷| 色情五月天小说| 4399在线观看免费毛片| 久久婷婷成人视频| 五月婷婷另类| 天天激情欧美美女| 国外亚洲成AV人片在线观看| BBWCUCKOLD精品熟妇| 色噜久| 超碰资源在线| 91精品国产综合久久密臀 | 亭亭五月激情亚洲在线| 亚洲人人操BD| 九九热精品| 九九热99久久99| 97自拍视频网| 丁香综合婷婷开心激情网| 五月天婷婷色小说| 国产精品VA在线| 精品久久久人妻| 青青草99re| WWW.久久久久久久久久久久久| 亚洲色五月| www久久艹| 色www.con| 色婷久| 激情丰满熟妇五月| 亚洲精品无码久久| 亚洲爆乳无码精品AAA片蜜桃| 夜夜骑夜夜操| 色五月婷婷影院| 五月激情综合美女久久| 艹B高清无码| 五月天婷婷久久日| 色五月综合在线| 精品一区二区三区三区| 香蕉婷婷色五月| 色色婷| 九九99九九精品视频| 欧美又粗又大一区二区在线观看| 久久婷五月综合| 精品操逼一区二区| 色婷婷亚洲六月婷婷中文字幕| #NAME?| 五月天激情网页| 九九AV| 五月丁香六月合| 丁香婷婷色五月| 色色色九九九五月婷婷| 婷婷五月天成人动漫| 五月天久久婷婷| 网色99| 久久人妻精品| 婷婷丁香五月天影院| 久久这里只| 伊人九热| 伊人综合网4| 五月婷在线观看| av最新在线| 婷婷五月天影院| 9婷婷内射| 色情五月停停丁香| 五月婷婷性爱| 嫩草AV久久伊人妇女超级A| 天天爽成人综合网站| 狠狠干婷婷| 日韩国产在线免费观看| 五月婷婷丁香婷婷| 亚洲免费av观看| 操一区| 99热日韩这里只有精品| 老司机视频lsj爱就色| 激情久久综合网| 991自拍视频| 99热这里只有精品4| 九九美女视频| 亚洲综合99| 婷婷丁香六月综合激情站| 91九色视频| 五月丁香网av| 嫩模草| 久久 这里只有精品1| 日韩国产在线免费观看| 久久92| 婷婷五月激情六月丁香 | 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 噜噜噜噜噜久| 国产毛片精品一区二区色欲黄A片| 久噜久噜| 97在线精品视频| 色婷婷网| 九九精品视频在线观看| 久久人人九九| 91av无码| 午夜天堂一区人妻| 激情5月婷婷| 久久新地址| 日本激情综合| 久久免费视频62| 超碰色色综合| 久久久香| WWW.夜夜操.com| 怡春院天天干| 婷婷在线激情| 五月丁香基地| 99ri精品| 五月天大香蕉视频| 99热66| 丁香午夜天| 久久99热这里只频精品6学生| 六月丁香婷婷色狠狠久久| 久久六月天| 天天插夜夜爽| 丁香五月婷婷深爱综合激情| 深爱五月月天| 狠狠色噜噜狠狠亚洲A∨| 国产午夜成人AV在线播放| 最新热中文字幕| 久久综合五月天| 99热这里有精品| 色色综合网www| 天天搞天天色综合| 色婷婷综合视频| 亚洲五月天色色| 婷婷丁香精品视频在线观看| 亚洲网站观看视频| PORNY九色9l自拍视频成人| 五月丁香六月婷婷玖玖| 五月婷五月婷伊人伊人五月婷| 婷婷99狠| 亚洲综合色激情色五月| 色五月av| 97操视频| 天天爱天天做天天| 色99视频| 综合激情在线| 激情综合一| 丁香激情合作五月| 久久99精品久久久久久噜噜| 久草热8精品视频在线观看| 97久久久久| 九九99热久久精品66中文字幕| 久久五月天合网| 丁香六月婷婷综合激情欧美| 久久色天堂| 国产又色又爽又黄又免费| 99这里只有精品| 人妻中文在线| 丁香婷婷深情五月亚洲| xfplayav在线| 九九视频这里只有精彩| 99熟女视频| 午夜不卡久久精品无码免费| 国产激情综合| 嫩草极品| 五月丁香六月婷婷久久肏| 成人在线观看精品| 五月婷A V在线| 天天日天天久久青青| 六月丁香啪啪| 玖玖资源天天无码| 美女要搞搞天天搞搞搞网站| 99亚洲无码| 五月色丁香国产在线视频| 性 色 婷婷| www。五月天激情| 看全色黄大色大片| 国产精品社区| 色综合天天网| 五月丁香婷色| 五月婷婷六月综合| 99热这里只有精品66| 色五月播五月| 女人被男人吃奶到高潮| 欧美六月| 五月天激情视频| 这里只有精品视频| 婷婷五月激情图片| 99精品在线| 国产超碰在线| 激情综合婷婷| 天天五月丁香五月| 婷婷.com| 五月婷婷啪啪网| 国产精品18久久久| av婷婷丁香| 色色婷婷丁香| 五月婷婷激情69| 91操色| 久久99这里只有精品视频 | 久久久天天啊| 五月天激情四射| 一区操| 综合色视频| 69久热| 色哟哟www| 人人色性网| 人人摸人人射| 激情五月天视频| 婷婷色六月| 亚洲熟女色| 人人干av| 久久婷中文字幕| 玖玖无码中文| 久久婷婷五月综合激情国产| 伊人久久婷婷| 97碰 在线视频观看| 日本97在线视频| 五月综合缴情网| 五月婷婷官网色| 婷婷涩五月| 狠狠狠狠狠狠| 天天久久人人| 欧洲亚洲精品| 九一九九黄色| 99丁香婷婷综合网| 婷婷天天综合| 国产成人av在线播放| 小泽玛利亚视频一区二区| 玖玖资源在线视频| 99熟女| 五月天色欧美| 综合六月激情婷婷| 亚洲五月婷婷| xxxx五月激情| 九九 激情 网| 国产综合婷婷| 丁香五月婷婷丫| 久久色天堂| 五月成人丁香av91| 九九热在这里只有精品| 婷婷色中文字幕| 国产亚洲99久久精品| 五月天婷婷伊人| 六月丁香激情| 91丨九色丨熟女高潮| 九九99在线观看视频| 亚洲综合网激情小说| 久草xx性爱视频| 色五月激情网| 最新五月天婷婷影| 久久性爱视频| 婷婷五月在线视频| 日本人妻操| 狠狠香蕉| 91久久婷婷人人澡草| 日本爆乳片手机在线播放| 色综合久久888| 亚洲亚洲人成综合网络| 成人人操| 琪琪理论片| 婷婷五月天偷拍| 免费播放片大片| 中文字幕黄色片| 色吧网综合| 久久92| 思思热99er在线视频| 亚洲激情97五月天| 五月婷婷综合在线| 丁香五月97视频| 色噜噜婷婷| 99超超碰| 色色五月婷| dingxiangtingtingliuyue| 激情五月天综合网| 国产免费一区二区三州老师F1……| av在线免费网站 | 亚洲视频码| 久久丝丝热| 五月婷婷之美女图片| 婷婷亚洲综合| 久久99免费视屏| 五月天激情小说婷婷| 天天色色天天| 久久久国产精品黄毛片| 96丁香六月婷婷蜜桃综合久久| 99色色最新视频| 玖玖爱综合网| 超级碰碰视频无码| 中文无码精品一区二区三区| 久久婷婷亚洲| 激情五月婷婷啪啪| 天天成人丁香美女AV| 色婷婷丁香五月天| 91|九色|动漫| 丁香五月色欲| 日本精品人妻无码77777| 九九热精品99| 常久最新免费的色吊丝| 一本道在线电影| 久久大香蕉同僚| 天天色官网| 99热久| 久久大香免费| 五月天婷婷丁香六月| 任你爽视频| 婷婷综合亚洲| 天天爱天天吃狠天天透| 123日本不卡在线| 婷婷激情丁香五月婷婷激情丁香五月婷婷| 丁香五月综合激情性爱| 综合久久伊人| 亚洲激情网站| 五月天久久婷| 狠狠草婷婷| 大香蕉久| 99啪99| 欧美日韩AAAA| 久99在线| 五月婷婷六月激情网| www.色婷婷| 91色操| 亚洲精品国产精品乱码视99| 色爱爱综合网| 丁香五月综合亚洲| 99热传媒| 亚洲综合在线丁香五月| 91男女视频在线观看| 久久婷婷五月国产激情综合片| 五月天丁香成人| 九月av在线| 永久AⅤ1| 色婷婷精品视频在线播放| 丁香六月视频| 中国丰满熟女A片免费观| 久久九色| 成人视频一区| 狼人久草| 中文av网站| 色五月婷婷av| 91丨九色丨43老版熟女| 久久99视频| av色婷婷| 五月丁香啪啪| www.夜夜| 99亚洲综合| 99色网站| 天天综合亚洲综合网天天αⅴ| 9+1视频网址| 亚洲啪啪啪啪| 激情综合一| 久久综合激情| 九九热这里只有精品6| 五月丁香婷婷啪啪| 96丁香六月婷婷蜜桃综合久久| 中文字幕永久在线| 色欲久久综合| 综合色五月天| 综合狠久久| 五月婷婷手机在线| 日韩av高清| 九九热只有精品| 人人操操97| 色五月在线播放| 99caobi| 日本狠狠网| 久热婷婷在线视频| 婷婷欧美综合| 激情五月天婷婷激情| 强伦轩人妻一区二区电影| 四月婷婷五月色综合| 激情影院丁香五月| 色婷婷五月天激情综合| 九九精品9| 天天综合中文| w婷婷五月婷婷w| 91精品久久久久| 久操婷婷| 搡BBBB搡BBB搡五十| 中文字幕 久久9999| 久草九一| 色综合天天| AV在线观看网站| 可以看的AV| 99爱免费在线观看| 雪千夏麻豆| 久久激情网| 成人 视频免费观看网站| 超碰在线91| 一区二区三区四区五区| 欧美性爱专区| 激情床戏| 五月天堂婷婷| 99色在线视频观看| 99热婷婷| 夜夜操狠狠操天天操| 99热97美女| 久9免费视频| 激情五月天久久丁香| 拍真实国产伦偷精品| 五月丁香婷在线| 91九色超碰正在播放| 五月丁香啪啪激情| 五月丁香六月婷婷中文版| 婷婷五月激情基地| 色婷婷中文在线| 夜夜操夜夜爽| 九月婷婷综合在线| 99久久99久久综合| 狠狠狠狠狠草| 色婷婷丁香综合中文字幕| 色吧综合网| 婷婷五月天电影在线| 婷婷五月天AV在线| 国产精品18久久久| 欧美成人精品A片免费一区99| 色婷婷综合网站| 亚洲12p| 天天草天天爽| 六月丁香婷啪射| 综合玖玖偷拍| 97高清国语自产拍| www.色婷婷.com| 婷五月丁香| 在线综合91| 九九RE视频在线精品| 激情五月天激情综合网| 婷婷五月在线免费| 超碰人人操人人9| 深爱五月激情| 五月色综合网| 色五月在线| 99久久五月天| 密着浓厚中出乚交尾GvG935| 婷婷五月电影院| 九九热视频免费的| 色婷婷黄色网络| 天堂在线婷婷| 在线理论片| 精品99在线| 深爱激情网噜噜色| 日韩欧美五月丁综合| 大香蕉伊然在亚洲90| 狠狠干天天日| 天堂综合久| 五月天激情中文字幕| 久久久大香蕉| 日韩欧美婷婷丁| 婷婷激情五月| 99ri精品视频在线观看| 婷婷五月综合视频免费播放| 丁香五月狠狠综合欧美| 激情五月婷黄版| 亚洲有码在线视频| 久久ri精品| 人妻少妇色综合| 婷婷久月| 五月激情综合深爱| 99热这里只有精品10| 五月婷婷亚洲| 狠狠久久婷婷| 色噜噜狠狠狠狠色综合久欧美| 色色射| 激情六月婷婷| 色J香五月天| 综合逼五月激情婷婷| 91人人爽狠狠狠| 婷婷伊人视婷婷婷| 九色成人AV在线| 99自拍视频| 另类图片色五月| 夜夜骑天天操| 五月天六月婷婷电影| 五月婷婷色播视频| 久99久视频| 五月婷婷六月丁香首页| 日韩久久日| 亚洲精品V天堂中文字幕| 开心五月网| 思思99久久| 久久婷婷五月天蜜桃| 99久久er| 激情久久天天| 天天综合五月| avh片在线观看| 久久精品99国产精品日本| 亚洲人妻av| 99热1| 精品久久99码| 99免费| 亚洲色 视频| 四色女婷婷| 狠狠擼综合| 色色色色色色色综合| 五月丁香六月婷婷精品| 91操人| 亚洲综合九九| 大香蕉九九| 久久九区| 久久大香蕉| 丁香婷婷五月综合色情| 日韩综合网络男女香蕉a片| 激情亚洲婷婷| 亚洲熟女色| 五月天天堂久久| 欧美日韩成人免费在线| 丁香九九九九| 色婷视频| 六月丁香婷婷综合色播| 99久热这里有精品| 亚洲色情一区二区三区四区| 亚洲激情视频网| 欧美成人网婷婷综合在线| 五月色欧洲| 丁香五月老师| 夜夜做夜夜愛| 婷婷亚洲五月| 激情五月婷| 在线网黄| 五月丁香影视| 国产日韩精品SUV| 在线观看免费人成视频无码| 婷婷丁香激情五月天色色色| 日韩成人影片在线观看| 激情伊人网| 91人妻人人操人人爽| 影音先锋色婷婷| 丁香六月综合激情| 天天干狠狠操| 色五月综合婷婷| 亚洲狠狠干| 婷婷五月综合色拍| 国产性色蜜乳| 伊人深爱综合| 99热思思| 可以看的AV| CHINESE熟女老女人HD视频| 一起草AV入口| 99 福利 导航| 久久之人妻| 天天综合干| 日日夜夜狠狠干| 精品久热69| 九九婷婷网五月天| 91男人操女人视频| 色婷婷情片| 9久热| 色五月婷婷视频| 色五月丁香网| 日韩欧美颜射| 国产精品第一国产精品| 婷婷成人在线| 思思视频久久| 情婷婷五月天| 97碰免费视频在线| 精品人妻午夜一区二区三区四区| 欧美碰碰碰| 成人亚洲精品| 麻豆五月丁香婷婷| 爆乳熟妇一区二区三区爆乳照片| 少妇性按摩无码中文A片| 精品自拍99| 婷婷九月激情| 99视频这里只有久久精品 | 91狠狠色| 丁香五月婷婷天| 日韩av在线免费观看| 五月天激情小说网| 婷婷激情五月天小说| 亚洲小视频免费看| 夜夜夜夜夜操| 色99在线| 久久机热探花| 五月天 综合 在线| 五月婷在线| 女人高潮内射99精品| 色色丁香五月天社区| 久久欧洲久久| 天天久| 丁香五月天堂网| 五月天色色色色色| 天天噜天天爱| 91视频精品99| 性爱网五月婷婷| 九九色图| 日日夜夜婷婷| 狠狠精品干练久久久无码中文字幕| 美腿丝袜AV天堂网| 深爱激情网婷婷| 操日视频| 亚州男人天堂婷婷五月| 日本久久精品18| 99热这里只有精品手机在线观看| 久久综合五月天| 五月天社区| 99人人精品| 五月开心六月婷婷在线播放网站| 天天色亚洲| 丁香五月婷婷基地| 色婷婷AⅤ| 精品99网站| 深爱五月月天| 日日夜夜爽| 五月激情六月丁香| 久色五月天| 久久99热 这里有精品| 婷婷 伊人 久久| 丁香五月婷中字在线| 日韩综合网络男女香蕉a片| 丁香婷婷中文字幕| 色五月首页| 婷婷五月综激情| 丁香五月激情婷婷| 国产精品扒开腿做爽爽爽A片唱戏| 玖玖色资源| 色宗合久久五月婷婷| 五月丁香亚洲综合| 丁香久久久| 丁香五月婷婷色播艳门照| 五月天丁香网| 色婷婷久久综合| 黄色激情五月天| 1024操逼| 免费的日逼视频| 99热精品观看| 亚洲精品网址| 天天xxxxxx天天日| 欧美叉叉叉BBB网站| 丁香五月色色| 婷婷内射视频在线| AⅤ在线播放网| 这里只有国产精品在线| 日日操夜夜爽| 丁香激情网| 深爱五月激情| 激情五月天情色| 五丁香激情综合| 思思久久精品| 色婷婷香蕉| 五月天激情婷婷| 色色色色色日韩午夜激情 | 韩国激情五月天综合网| 色色综合网www| 五月综合777| 六月婷婷激情| 99色这里| 色色色com| 国产99久久久| 99热在线观看精品| 99在线视频资源| 人人播| 伊人久热91网| 五月丁香六月婷婷亚洲视频| 婷婷五月丁香五月基地| 五月婷婷少妇之| 亚洲AV免费在线| 欧美又粗又大一区二区在线观看| 色色色成人网| 99色区| 婷婷五月天堂| 爽tv | 久久99热这里只有精品23| 色播丁香| 欧美日韓成人亚洲精品另类| 丁香五月天堂网| 婷丁五月| 亚洲国产精品SUV| 91操色| 校花娇喘呻吟校长陈若雪视频| se色99| 国产成人精品一区二三区熟女在线| 青青草a在线| 色九月| 五月丁香好婷婷A片网| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 九九九成人在线视频| 日本精品人妻无码77777| 国产精品久久久60086| 婷婷五月天性色| 丁香美女主播视频在线观看 | 婷婷午夜综合| 91超碰在线观看| 男女99免费视频| 久久久这里有精品| 久久五月丁香激情综合| 日本女色人人| 亚洲AAA| 婷婷亚洲在线| 亚洲成人婷婷| 天天射天天干天插色综合| 亚洲av成人在线| 美日韩成人| 亚洲超碰在线| 五月丁香六月停停| 欲求不满的人妻| 久久五月婷婷丁香| 婷婷五月天色色| 国产肥白大熟妇BBBB视频| 五月的婷婷六月丁香| 伊人激情综合| 久色激情| 国产中文亚洲欧美日韩性交| 天天射影院| 国产玖玖资源| 久色激情| 激情五月天色色网| A A色色| 亚洲婷婷激情综合激情999精品| 婷婷97碰碰| www.夜夜操.con| 五月丁香婷婷欧美色图视频五月丁香777电影 | 国产欧美精品AAAAAA片| 婷婷五月天激情丁香| 日本黄色精品| www.五月天婷婷| 婷婷色日本| 五月丁香激情啪啪网| 99自拍网| 色综合五月婷婷狠狠干| 丁香五月97视频| 婷婷综合在线| 丁香五月老师| 69人妻人人澡人人爽久久| 97在线精品| 激情五月天之五月婷婷| 91操在线视频| 狠狠看狠狠| 五月美女婷婷风骚| 综合激情在线视频| 天天网站天天爽| 97操女视频| www.五月婷婷| 色五月婷婷天天操夜夜操| 永久热91| 无码色| 色欲色香综合网| 2015好吊操| 97日本操| 99色网站| 狠狠插日日干撸| 久久久人妻不卡| 丁香,开心成人,久久| 99热99精品| 亚洲熟妇AV综合网五月丁香伊人 | 五月天色丁香| 色婷婷综合久色AV五色最新| 久久青草国| 天天爽天天操| 亭亭玉月丁香| 久久99热这里| 视频一二区| 五月网站| 九九热10| 五月婷婷丁香五月婷婷| www.99久| 97日本在线播放| 色五月六月| 五月婷婷在线综合| 热热久久精品视频| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 天天插天天干| 婷婷五月天综合AV| 五月伊人视频在线看| 久艹大香蕉| chaopengdaxiangjiao| 久热99| 欧美成人性爱网| 丁香六月中文| 97操碰视频| 热婷婷久| 亚洲亚洲人成综合网络| 国产免费AV网站| 大陆肏屄视频| 色五月av伊人| 大香蕉久艹| 在线99精品| 欧洲色区| 色99网站| 人妻九九九九| 激情婷婷啪啪| 六月婷婷狠狠做| 九九热a| 久综合九| 性爱激情久久| 中国丰满熟女A片免费观| 操碰99| 99热精品无码| 99免费视频精品| 99热在这里只有免费精品| 超碰在线9| 人妻五月天激情开心网| 麻豆观看夏晴子| 六月丁香五月婷婷| 色九亚洲| 九九在线精点品| 天天干天天 亚洲| 夜夜骑日日操| 五月天婷婷色情| 色99xx| 亚洲无码 图片区| 婷婷五月在线观看| 丁香六月激情综合| 六月丁香中文字幕| www五月| 亚洲人妻五月丁香婷婷| 丁香婷五月| 婷婷基地成人五月天| 99热这里是精品| 色婷婷69| 任我鲁这里有精品视频| 六月丁香成人| 综合久久伊人| 久99久视频精品| 农村熟妇高潮精品A片| 99精彩视频| 色色色色五月天| 五月婷婷色综图片| 99热这里都是精品| AV性爱网| 亚洲婷婷免费| 丁香婷婷视频| 亚洲色情网站| 人人爱国产| 香蕉AV777XXX色综合一区| 久久99这里只有精品视频| 内射激情在线| 天天做天天双| 亚洲五月天综合| 色婷婷五月天激情久久| 丁香五月视频在线观看| 久久五月人人摸| 六月伊人婷婷| 日日夜夜狠狠婷婷色| 激情涩涩网| 大波美女VA网站| 五月丁香六月婷婷在线小说视频| 天天色爽| 婷婷六月色丁香视频在线观看| 久久久久婷婷五月热综合| 精品99这里有| WWW丁香五月| 久久婷婷热| 婷婷激情小说网| 丁香五月在线伊人| 亚洲性爱干干| 激情五月婷婷伊人| 思思热99在线| 激情亚洲网| 强伦轩人妻一区二区电影| 狠狠色成人影片| 玖玖爱资源站| 五月天综合婷婷| 国产亚洲在线观看| 亚洲国产精品SUV| 亚洲丁香花五月丁香花| 亚洲精级| 天堂五月婷婷| 久久99精品久久久久子伦| 91色久| 五月婷婷六月丁香首页| 99WWW免费视频| 色色五月天丁香| 久久婷婷成人| www色色com| 成人国产欧美大片一区| 欧美综合激情五月| 亚洲激情网站| 99热在线里有精品| 久久激情五月网| 大香蕉久久视频久久视频| 26uuu欧美| 久久综合影院| 综合久久五月天| 九九一综合精品| 日韩a热| 亚洲婷婷在线播放十月| 成人网在线视频| 人妻操日日| 色欧美一级| 丁香网站| 色婷婷五月综合| 五月丁香婷婷色色| pom538精品视频| 99久久玖玖| 精品免费99| 六月丁香深深爱| 亚洲第一色色色| site:pzdcoin.com| 超碰97人人操| 99福利导航| 99热色婷婷| 91九色成人原创视频| 天天射网站| AA片在线观看视频在线播放 | 99爱在线视频观看| 狠狠狠狠操| 俺五月| 激情亚洲五月| 丝袜激情网| 99久久97久久欧美综合网| 9999热在线观看| av一区二区电影免费在线观看| 碰99在线| 偷拍丁香九月激情| 伊人婷婷大香蕉在线| 成人AV在线中文版| 内射干少妇亚洲69XXX| 日韩中文欧美| 97色色视频| 熟妇人妻中文字幕无码老熟妇| 丁香五月天激情综合| 久久亚洲婷婷| 国外亚洲成AV人片在线观看| 五月婷婷六月丁香| 7EzOBIhNq85TO| 婷婷影视久久| 91精品刘玥| 五月天婷婷激情四射综合| 31色区视频免费看| 婷婷黄色五月| 丁香五月婷婷综合91| 久久性爱激情| 97干在线看| 九九精品热播| 九九综合九九| 丁香婷婷基地| 五月丁香婷婷无码中文| 激情五月天综合图片小说网站| 五月丁香拍拍激情综合| 丁香婷婷五月六月天| 6080av| www.亭亭五月天| 99热精品在这里| 九色啦蜜臀| 丁香五月天堂| 亚洲中文字幕av| 久久97久久99久久综合欧美| 在线色婷婷| Www.狠狠| www.91久久| 久久99综合| 伍月激情天| 丁香婷婷色情社区成人小说| 亚洲天天操| 综合色播| 99热亚洲| 中文字幕无码人妻少妇免费视频| 婷婷五月丁香国产| 丁香五月婷婷综合91| 大香蕉伊人99| 99热欧| 激情综合色五月丁香六月亚洲| 婷婷俺去也| 色综合区| 噼里啪啦在线观看免费完整版视频| 婷婷婷狠狠| 九月av在线| 日本色道视频网站| 玖月婷婷爱丁香| 色99欧洲色19| 伊人激情综合网| 久久9视频| 婷婷综合久久综合| 9精品在线| 中文字幕+乱码+中文字幕在线观看| 婷婷六月花| 丁香五月婷婷激情尤物| 久热免费视频| 亚洲综合欧美色丁香婷婷888月图片| 六月丁香停| 99热久久这里只有精品| 中文字幕婷婷五月天在线观看| 婷婷综合精品| 三十熟女| 99精品视频推荐| 一区二区中文字幕| 亚洲狠狠干| 这里只有精品视频99| 久久婷婷五月丁香蜜桃网| 五月天伊人久久| 色色热99| 吉澤明步Av一區二區| 久久五月视频| 九一娱乐在线观看视频| 久热大香蕉| 日本性激情色播| 丁香五月婷婷超碰在线| 精品成人在线| 操操天堂| 精品久久久久久久人妻| 99ri国产在线| 综合色五月亭亭| 婷婷色中文字幕| www.激情五月天| 天天日天天舔| 97人操| 日本精品。999| 99久精品视频| 激情AV综合| 日韩啪啪网| 激情五月,激情综合网| 五月婷婷av| 精品综合爱| 色丁香久综合在线久综合在线观看| 亚洲成人网站在线播放| 综合色在线| 色丁香久久| 欧美日韩AAAA| 少妇高潮呻吟A片免费看软件| 五月天色色婷婷| 9999色色色色| 大香蕉综合在线| 六月婷婷啪啪| 人人做人人看人人摸| 激情五月六月婷婷| 五月丁香五月婷婷在线观看| 99久久这里只有精品| 久久999久久999久久999久久| 另类图片五月天婷婷| 91婷婷在线| 夫妻超碰在线| 六月天无码网址| 丁香九月婷婷| 亚卅毛片| 婷婷干五月综合在线播放| 另类少妇人与禽zOZZ0性伦| 成人av在线电影| 天天做天天爱天天要| 国产午夜精品一区二区三区四区| 久操大香蕉| 十一月婷婷激情四射| 91九色偷拍| 国产又黄又爽又激情不遮挡视频在线观看| 大香蕉99热| 久热丁香| 丁香六月婷婷综合欧美| 久久AAAA片一区二区| 丁香婷最新动态| 激情综合五月天| 青青草婷婷久久| site:feetmall.com| 国产XXXX搡XXXXX搡麻豆| 国产超碰在线| 99久久网站| 五月天婷婷亚洲| 六月久久狠狠| 国内精品免费一区二区2009| 精品99爱免费视频在线观看| 色色色网站| 激情综合亚洲| 男女99免费视频| 久久久久久久久久久97| 九九热在线精品视频| 99久| 99爱视频在线免费观看| 五月开心网| 这里只有精品99视频| 日本99视频| 91久久久久久久| 亚洲网视屏| 五月天丁香婷| 天天操B| 91尤物九色在线| 色婷婷超碰| 国产婷婷五月天| 九色91国产| 婷婷丁香亚洲色综合91| 成人电影AV在线观看| 色99色| 夜色综合网| 超碰在线观看9| 久久久久久激情| 色噜噜夜夜夜综合网| 丁香花五月天激情| 激情四射五月天| 久久激情视频| 激情欧美婷婷| 五月丁香婷婷啪啪| 色情·com| 亚洲熟妇AV乱码在线观看| 五月天婷婷网站| 中文字幕成人| 天天色五月| 综合色七七| 五月天综合视频| 日韩 mm 不卡| 超碰a女人的天堂| 狠狠爱婷婷爱| 中文字幕不卡+婷婷五月| 综合玖玖性爱免费视频| 六月丁香啪啪| 午夜丁香六月婷| 一二线视频 另类| 五月婷婷啪啪啪啪| 激情骚五月| 天天色99| 五月天激情图片| 国产性爱亚洲是图| 丁香六月开心| 激情久久久| 五月丁香六月激情网| 婷婷激情五月呦呦| 天天夜夜爽| 97久人人| 五月激情小说| 五月天三级| 天天色五月婷婷91久久久久久久| 99久视频| 97黑人精品区| 欧美在线视频99| 亚洲五月天综合| 丁香五月天婷婷大香蕉| 丁香五月婷婷大香蕉| av大香蕉| 久久无码成人| 5月丁香啪啪啪| 日本熟妇精品99| 北京熟妇搡BBBB搡BBBB| va亚洲中文在线| 天天综合色丁香| 久久草大香蕉| 天堂草在线观看| www99久久| 香蕉久久国产AV一区二区| 九热在线这里有精品6| 人人妻人人澡| 丁香五月婷婷综合视频| 婷婷五月丁香性爱| 开心激情站| 天天操夜夜夜夜爽| 欧美色偷偷大香| 五月色综合| www.五月激情红色| 成人av在线网址| 国产小精品| 婷婷丁香五月高清| 超碰在线99| 久久日婷婷| 色婷五月| 夜夜夜叫天天天做| 99碰网站| 国产无遮挡又黄又爽免费网站| 综合网五月天123| 婷婷九月激情| 色五月婷婷在线观看第一页舔| 久久98热re| 国产Va视频| 婷婷 伊人 久久| 国产熟妇的荡欲午夜视频| 97精品自拍视频| 五月丁香婷婷AV天堂| 色五月自偷自拍婷婷婷婷| 六月天婷婷| 亚洲色五月婷婷| 五月婷成人网| 第四色五月婷婷| 610018岁成人视频| 9久热在线视频精品| 深爱激情久久| 亚洲成人综合在线| 丁香六月天婷婷| 婷婷欧美| 99精彩视频| 色五月五月天| 色玖玖综合| 91久久精品国产91性色TV| 亚洲av免费在线| 五月婷婷六月丁香在线视频| 狠狠大香婷婷爱| www,色综合| 91 影音先锋| 五月丁香黄色视频| 亚洲色情网站| 日本在线视频手机播放五月婷| 婷婷五月丁香超碰| 激情五月天。| 天天噜噜| 婷婷色操| 99久久久| 五月丁香六月婷婷免费| 91热视频色网站| 丁香婷婷婷| 国产精品A成V人在线播放| 丁香五月激情网| 丁香网五月网| 亚洲激情丁香五月天色| 97色欧美| 久久99精品久| 免费无码毛片一区二区A片 | 五月九九综合| AA片在线观看视频在线播放| 五月丁香狠狠爱| 色老久久| 97婷婷五月| 婷婷五月激情欧美大胆视频|