欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

算子優(yōu)化實(shí)戰(zhàn):從Tiling到端側(cè)部署的全鏈路加速

算子優(yōu)化實(shí)戰(zhàn):從Tiling到端側(cè)部署的全鏈路加速 1. 為什么算子優(yōu)化才是全鏈路加速的命門(mén)先聊一個(gè)很多剛接觸異構(gòu)計(jì)算的同行容易忽略的事實(shí)一套加速鏈路里最耗時(shí)間的往往不是模型結(jié)構(gòu)本身而是算子層執(zhí)行效率。模型結(jié)構(gòu)是算法設(shè)計(jì)者定好的骨架算子是把骨架變成真實(shí)算力的肌肉。肌肉乏力骨架再合理也跑不出性能。我最早接觸CANNCompute Architecture for Neural Networks異構(gòu)計(jì)算架構(gòu)時(shí)也踩過(guò)這個(gè)認(rèn)知偏差拿到一個(gè)模型第一步就往圖優(yōu)化和部署工具上使勁覺(jué)得算子實(shí)現(xiàn)是芯片廠商的事自己寫(xiě)好算法就行。后來(lái)在一次真實(shí)項(xiàng)目里一個(gè)簡(jiǎn)單的自定義算子因?yàn)闆](méi)有做Tiling切分端側(cè)推理整條鏈路延遲多了將近一倍才明白算子層是整個(gè)加速流水線的底座。底座不牢后面所有優(yōu)化都是錦上添花成不了雪中送炭。這篇文章圍繞一條完整鏈路來(lái)寫(xiě)從算子的計(jì)算分析、Tiling設(shè)計(jì)、指令選型到圖編譯階段的算子融合策略再到端側(cè)部署時(shí)的模型轉(zhuǎn)換與推理配置最后落到性能調(diào)優(yōu)的閉環(huán)方法。適合已經(jīng)能跑通基礎(chǔ)推理流程、想進(jìn)一步壓榨設(shè)備算力的開(kāi)發(fā)者也適合剛接觸異構(gòu)編程、想建立全局性能觀的新手。整篇文章不是照搬官方文檔而是把我實(shí)際跑過(guò)、調(diào)過(guò)、踩過(guò)坑的經(jīng)驗(yàn)拆開(kāi)來(lái)講。先明確一個(gè)核心認(rèn)知全鏈路加速不是某一環(huán)的孤軍奮戰(zhàn)而是計(jì)算密度、數(shù)據(jù)搬運(yùn)、內(nèi)存布局、調(diào)度策略四個(gè)維度的協(xié)同。這四件事在算子開(kāi)發(fā)階段就要想清楚拖到部署階段再補(bǔ)救空間就很有限了。2. 從計(jì)算特征出發(fā)先搞清楚你這算子到底缺什么2.1 算子性能瓶頸的判斷方法拿計(jì)算量和訪存量說(shuō)話不管下游用的是什么加速芯片算子的性能瓶頸就兩種算力吃滿但數(shù)據(jù)喂不飽叫內(nèi)存瓶頸數(shù)據(jù)搬運(yùn)沒(méi)問(wèn)題但計(jì)算單元在空轉(zhuǎn)叫計(jì)算瓶頸。判斷方法不復(fù)雜先算兩個(gè)數(shù)。以矩陣乘法為例一個(gè) ( M \times K ) 的矩陣乘以 ( K \times N ) 的矩陣計(jì)算量是 ( 2 \times M \times N \times K ) 次浮點(diǎn)操作數(shù)據(jù)搬運(yùn)量是 ( (M \times K K \times N M \times N) \times 4 ) 字節(jié)按FP32算。計(jì)算密度 總計(jì)算量 / 總數(shù)據(jù)量這個(gè)值如果遠(yuǎn)低于設(shè)備的計(jì)算訪存比就是內(nèi)存瓶頸如果高出很多就優(yōu)先優(yōu)化計(jì)算指令的流水線效率。我自己習(xí)慣在動(dòng)手寫(xiě)算子前先做這個(gè)估算再對(duì)照設(shè)備的理論峰值來(lái)判斷優(yōu)化方向。這一步不值錢(qián)但能讓優(yōu)化避開(kāi)南轅北轍的坑。有一個(gè)實(shí)際例子某模型里的歸一化算子輸入是 ( 2048 \times 2048 ) 的矩陣逐元素操作計(jì)算量很小數(shù)據(jù)量很大典型的內(nèi)存瓶頸。這種情況下拼命優(yōu)化計(jì)算指令根本沒(méi)用關(guān)鍵是減少重復(fù)搬運(yùn)讓數(shù)據(jù)在片上多復(fù)用。2.2 算子的計(jì)算模式分類決定了它適合走哪條路異構(gòu)芯片雖然指令集各有不同但算子按計(jì)算模式大致能分成幾類分類的意義在于決定優(yōu)化策略的起點(diǎn)逐元素類算子數(shù)據(jù)每個(gè)點(diǎn)獨(dú)立運(yùn)算比如激活函數(shù)、歸一化、逐元素加減。這類算子好寫(xiě)但極易被內(nèi)存帶寬卡死優(yōu)化重點(diǎn)在數(shù)據(jù)搬運(yùn)和并行切分。歸約類算子需要跨行或跨列聚合比如求和、求均值、Softmax。這類算子的問(wèn)題在于數(shù)據(jù)依賴需要處理好片上累加和分段歸約。卷積/矩陣乘類算子計(jì)算密度高數(shù)據(jù)復(fù)用性強(qiáng)是最容易榨出峰值算力的類型但Tiling和搬運(yùn)策略也最復(fù)雜。訪存密集類算子比如Transpose、Reshape本身計(jì)算量極小純粹搬運(yùn)優(yōu)化重點(diǎn)是讓搬運(yùn)模式連續(xù)化避免小碎片傳輸。我遇到很多開(kāi)發(fā)者拿到一個(gè)陌生算子不看計(jì)算特征就先套模板寫(xiě)寫(xiě)完了再回頭調(diào)性能效率非常低。正確順序是反過(guò)來(lái)的先分類再定策略最后才動(dòng)手寫(xiě)內(nèi)核代碼。確定策略的過(guò)程聽(tīng)起來(lái)抽象其實(shí)真正操作時(shí)只需要回答三個(gè)問(wèn)題數(shù)據(jù)怎么切每一塊放哪一級(jí)緩存計(jì)算用哪種指令完成這三個(gè)問(wèn)題就是整個(gè)算子開(kāi)發(fā)階段的核心也是接下來(lái)要展開(kāi)的Tiling設(shè)計(jì)。3. Tiling設(shè)計(jì)把大矩陣切成剛好能塞進(jìn)片上內(nèi)存的形狀3.1 為什么Tiling是算子性能的第一道分水嶺異構(gòu)芯片的存儲(chǔ)層級(jí)和CPU不太一樣通常有全局內(nèi)存相當(dāng)于系統(tǒng)內(nèi)存、片上緩存相當(dāng)于L1/L2、以及緊挨計(jì)算單元的緩沖區(qū)。片上內(nèi)存容量很有限大矩陣不可能一次全放進(jìn)去必須切塊搬運(yùn)算完一塊再搬下一塊。這個(gè)切分策略就是Tiling。Tiling切得好不好直接決定兩層?xùn)|西一是數(shù)據(jù)搬運(yùn)次數(shù)切得太大放不下切得太小搬運(yùn)次數(shù)爆炸二是計(jì)算單元利用率每塊數(shù)據(jù)計(jì)算時(shí)間必須遠(yuǎn)大于搬運(yùn)時(shí)間否則計(jì)算單元大量空轉(zhuǎn)。Tiling里的核心參數(shù)是Tiling Size——在片上內(nèi)存允許的容量?jī)?nèi)盡量讓每一塊算得久一點(diǎn)。比如片上緩沖區(qū)是256KBFP32占4字節(jié)理論上能放65536個(gè)數(shù)。如果做 ( 128 \times 128 ) 的矩陣乘一塊剛好能放下。有兩個(gè)實(shí)際的切分策略固定分塊和自適應(yīng)分塊。固定分塊適合形狀穩(wěn)定的模型代碼簡(jiǎn)單自適應(yīng)分塊會(huì)根據(jù)輸入尺寸動(dòng)態(tài)算切法適合輸入形狀變化頻繁的場(chǎng)景。3.2 一個(gè)具體案例512×512矩陣乘的Tiling推導(dǎo)過(guò)程光說(shuō)理論容易飄拿實(shí)際例子算一遍就清楚了。假設(shè)要做 ( C A \times B )A是 ( 512 \times 512 )B也是 ( 512 \times 512 )結(jié)果C同樣是 ( 512 \times 512 )。片上緩沖區(qū)我這里指的是緊挨計(jì)算單元的那個(gè)高速緩沖區(qū)假設(shè)總?cè)萘渴?28KB也就是32768個(gè)FP32數(shù)。如果直接整塊計(jì)算A要占262144個(gè)數(shù)顯然放不下。這時(shí)候按行切分把A按行切成若干塊比如每次取 ( 128 \times 512 ) 的子塊占65536個(gè)數(shù)還是超過(guò)32768。繼續(xù)調(diào)整取 ( 64 \times 512 ) 的子塊占32768個(gè)數(shù)剛好卡在容量上限。B不動(dòng)C按行累加。這樣每次搬運(yùn)A的子塊 ( 64 \times 512 32768 ) 個(gè)數(shù)128KBB還是整塊 ( 512 \times 512 262144 ) 個(gè)數(shù)1MB。B在一次算子執(zhí)行里要被反復(fù)讀取8次如果B也太大還要做列切分。從Tiling切分維度來(lái)看行切分屬于第一維切分可能還需要第二維切分來(lái)降低中間結(jié)果的存儲(chǔ)壓力。這里的關(guān)鍵是把搬運(yùn)量和復(fù)用次數(shù)放到一起看A每次只搬一小條復(fù)用得越充分搬運(yùn)總量越小B必須整體搬屬于不可少的固定開(kāi)銷(xiāo)。實(shí)踐里我習(xí)慣每塊數(shù)據(jù)在片上至少?gòu)?fù)用幾十次才覺(jué)得劃算如果復(fù)用次數(shù)太低往往意味著切塊太小浪費(fèi)了片上存儲(chǔ)。3.3 多核切分與負(fù)載均衡別讓一個(gè)核閑著等別人除了片上內(nèi)存維度的切分還有多核維度的切分。設(shè)備上通常有多個(gè)計(jì)算核心每個(gè)核心負(fù)責(zé)一部分?jǐn)?shù)據(jù)。這里最常踩的坑是負(fù)載不均有的核數(shù)據(jù)多、算得慢整個(gè)算子等著它有的核數(shù)據(jù)少、早早算完干瞪眼。避免負(fù)載不均的核心原則是讓每個(gè)核拿到的工作量盡量一致。對(duì)于形狀規(guī)整的矩陣乘按行均分通常就夠了對(duì)于元素稀疏的算子比如某些稀疏計(jì)算數(shù)據(jù)量差異大就需要按非零元素?cái)?shù)量來(lái)分配。多核協(xié)作時(shí)的同步設(shè)計(jì)也很關(guān)鍵核與核之間需要通信時(shí)一般走全局內(nèi)存做中轉(zhuǎn)或者用芯片提供的同步機(jī)制。這里需要特別留意不要在大循環(huán)內(nèi)部頻繁同步同步本身就是開(kāi)銷(xiāo)次數(shù)越少越好。我做過(guò)一次實(shí)驗(yàn)同樣的算子把循環(huán)內(nèi)的同步次數(shù)從8次降到2次整體性能提升了大約15%。這種收益不需要改計(jì)算邏輯只需要調(diào)整循環(huán)結(jié)構(gòu)讓每次同步之間有更多獨(dú)立計(jì)算。4. 指令選擇與數(shù)據(jù)搬運(yùn)算得快不如算得巧4.1 計(jì)算指令和搬運(yùn)指令怎么配合才能不打空轉(zhuǎn)Tiling把數(shù)據(jù)切好之后接下來(lái)就是真正的指令執(zhí)行。CANN體系下的AI Core編程計(jì)算指令大致分為三種類型矢量指令Vector處理逐元素運(yùn)算面向向量化計(jì)算矩陣指令Matrix/Cube處理矩陣乘加操作計(jì)算密度最高標(biāo)量指令Scalar處理地址計(jì)算、循環(huán)控制等輔助邏輯。真實(shí)項(xiàng)目里寫(xiě)算子時(shí)最容易忽略的是標(biāo)量指令對(duì)性能的影響。我曾經(jīng)優(yōu)化過(guò)一個(gè)算子計(jì)算邏輯本身已經(jīng)用矩陣指令寫(xiě)得很高效但控制流里用了大量標(biāo)量指令做地址計(jì)算結(jié)果標(biāo)量單元成了瓶頸整體耗時(shí)反而比優(yōu)化前更差。后來(lái)把地址計(jì)算提前到搬運(yùn)階段做好緩存循環(huán)內(nèi)只做查表性能才上來(lái)。結(jié)論是主循環(huán)里盡量用計(jì)算類指令少放標(biāo)量指令。指令選擇的核心原則是能用矩陣指令解決的不要用矢量指令能用矢量指令解決的不要用標(biāo)量指令一條條算。三種指令之間不是替代關(guān)系而是流水線關(guān)系——標(biāo)量做指揮矢量做批量矩陣做重火力。寫(xiě)出高效算子的人往往是讓這三者在時(shí)間上重疊數(shù)據(jù)搬運(yùn)的同時(shí)上一塊數(shù)據(jù)正在計(jì)算這一塊數(shù)據(jù)正在準(zhǔn)備搬運(yùn)。4.2 數(shù)據(jù)搬運(yùn)的隱藏成本Copy是性能刺客所有異構(gòu)計(jì)算里數(shù)據(jù)搬運(yùn)的代價(jià)都被嚴(yán)重低估。搬運(yùn)指令本身執(zhí)行不慢慢的是搬運(yùn)前后的等待和地址對(duì)齊問(wèn)題。我習(xí)慣把數(shù)據(jù)搬運(yùn)分成兩種塊搬運(yùn)整塊連續(xù)數(shù)據(jù)和跳變搬運(yùn)按一定間隔取數(shù)。塊搬運(yùn)效率遠(yuǎn)高于跳變搬運(yùn)這個(gè)差距在某些硬件上能到3倍以上。所以優(yōu)化搬運(yùn)的第一準(zhǔn)則就是讓搬運(yùn)盡量連續(xù)。如果輸入數(shù)據(jù)的原始排布不連續(xù)先做一次重排再搬運(yùn)連續(xù)塊往往比直接多次跳變搬運(yùn)更快。這個(gè)先重排再搬運(yùn)的思路有點(diǎn)反直覺(jué)因?yàn)槎嗔艘淮巫x寫(xiě)但實(shí)測(cè)下來(lái)很多場(chǎng)景是賺的。原因是連續(xù)搬運(yùn)能充分利用總線帶寬跳變搬運(yùn)每次都浪費(fèi)大量總線位寬。數(shù)據(jù)搬運(yùn)還有對(duì)齊要求。主流加速芯片普遍要求搬運(yùn)的起始地址和長(zhǎng)度按特定字節(jié)對(duì)齊通常是32字節(jié)有些甚至是64字節(jié)。不對(duì)齊的搬運(yùn)要么報(bào)錯(cuò)要么被硬件強(qiáng)行拆分性能直接下滑。所以算子開(kāi)發(fā)階段通常會(huì)有對(duì)齊這個(gè)參數(shù)它不是一個(gè)可配可不配的開(kāi)關(guān)而是直接影響搬運(yùn)效率的關(guān)鍵條件。4.3 矢量指令寫(xiě)算子一個(gè)ReLU算子的完整代碼拆解為了把上面的概念落到代碼層面我用Ascend C寫(xiě)一個(gè)最簡(jiǎn)單的ReLU算子展示矢量指令的基本用法和結(jié)構(gòu)#include kernel_operator.h using namespace AscendC; constexpr int32_t BUFFER_NUM 2; // 雙緩沖 class KernelReLU { public: __aicore__ inline KernelReLU() {} __aicore__ inline void Init(GM_ADDR x, GM_ADDR y, int32_t totalLen) { this-totalLen totalLen; this-blockLength totalLen / GetBlockNum(); // 每核處理長(zhǎng)度 xGm.SetGlobalBuffer((__gm__ half*)x GetBlockIdx() * blockLength, blockLength); yGm.SetGlobalBuffer((__gm__ half*)y GetBlockIdx() * blockLength, blockLength); pipe.InitBuffer(inQueue, BUFFER_NUM, blockLength * sizeof(half)); pipe.InitBuffer(outQueue, BUFFER_NUM, blockLength * sizeof(half)); } __aicore__ inline void Process() { CopyIn(); Compute(); CopyOut(); } private: __aicore__ inline void CopyIn() { LocalTensorhalf inLocal inQueue.AllocTensorhalf(); DataCopy(inLocal, xGm, blockLength); inQueue.EnQue(inLocal); } __aicore__ inline void Compute() { LocalTensorhalf inLocal inQueue.DeQuehalf(); LocalTensorhalf outLocal outQueue.AllocTensorhalf(); Maximum(outLocal, inLocal, half(0), blockLength); // 矢量指令取最大值等效ReLU outQueue.EnQue(outLocal); inQueue.FreeTensor(inLocal); } __aicore__ inline void CopyOut() { LocalTensorhalf outLocal outQueue.DeQuehalf(); DataCopy(yGm, outLocal, blockLength); outQueue.FreeTensor(outLocal); } private: TPipe pipe; TGlobalBufferhalf xGm, yGm; TQueQuePosition::VECIN, BUFFER_NUM inQueue; TQueQuePosition::VECOUT, BUFFER_NUM outQueue; int32_t totalLen 0; int32_t blockLength 0; }; extern C __global__ __aicore__ void ReLU(GM_ADDR x, GM_ADDR y, int32_t totalLen) { KernelReLU op; op.Init(x, y, totalLen); op.Process(); }這段代碼里已經(jīng)包含了雙緩沖結(jié)構(gòu)inQueue和outQueue各自有2個(gè)緩沖區(qū)。處理當(dāng)前數(shù)據(jù)塊的同時(shí)下一個(gè)數(shù)據(jù)塊已經(jīng)開(kāi)始搬運(yùn)搬運(yùn)和計(jì)算重疊起來(lái)隱藏了大部分搬運(yùn)延遲。Maximum指令一次處理半精度浮點(diǎn)數(shù)直接走矢量單元語(yǔ)義上等價(jià)于ReLU因?yàn)樗龅氖虑榫褪前沿?fù)值壓到0。這個(gè)例子里有個(gè)細(xì)節(jié)值得留意緩沖區(qū)數(shù)量設(shè)成2是實(shí)現(xiàn)流水線重疊的最基本配置。如果設(shè)成1搬運(yùn)和計(jì)算就必須嚴(yán)格串行性能至少差一半。這是算子開(kāi)發(fā)里雙緩沖設(shè)計(jì)的關(guān)鍵意義。5. 圖編譯與算子融合讓模型在跑之前先瘦身5.1 編譯期到底干了什么構(gòu)圖、優(yōu)化、內(nèi)存分配三步走算子單獨(dú)寫(xiě)好了但模型不是一個(gè)個(gè)算子孤立跑的。CANN把整張模型圖交給編譯器統(tǒng)一編排這個(gè)階段通常叫圖編譯。圖編譯的核心工作大致可以分成三步構(gòu)圖與解析、圖優(yōu)化與融合、內(nèi)存分配與調(diào)度。構(gòu)圖階段把模型的結(jié)構(gòu)描述轉(zhuǎn)換成內(nèi)部圖表示這一步會(huì)做算子合法性檢查比如輸入輸出的數(shù)據(jù)類型是否匹配、維度是否符合算子約束。圖優(yōu)化階段是性能的關(guān)鍵包含算子融合、常量折疊、死分支消除等手段。內(nèi)存分配階段決定每個(gè)中間張量放到哪塊物理內(nèi)存、什么時(shí)候釋放做得好的話能大幅降低峰值內(nèi)存占用。我見(jiàn)過(guò)不少開(kāi)發(fā)者繞開(kāi)圖編譯階段直接把每個(gè)算子單獨(dú)執(zhí)行覺(jué)得那樣控制力更強(qiáng)。如果只有一個(gè)算子可能無(wú)所謂但在模型級(jí)別這樣做等于放棄了編譯器層面的自動(dòng)優(yōu)化——算子融合、內(nèi)存復(fù)用這些都享受不到了。正確的做法是自定義算子先單獨(dú)驗(yàn)證正確性然后放進(jìn)整個(gè)圖里一起編譯讓編譯器統(tǒng)一編排。5.2 算子融合的具體收益一個(gè)實(shí)測(cè)數(shù)據(jù)算子融合是圖優(yōu)化里收益最直觀的手段。原理不復(fù)雜把多個(gè)可合并成一個(gè)計(jì)算過(guò)程的算子融合成一個(gè)算子減少中間張量的落盤(pán)和讀回。舉一個(gè)實(shí)際案例。某視覺(jué)模型里有一段連續(xù)的卷積、批歸一化、ReLU三個(gè)操作。未融合時(shí)卷積的輸出要寫(xiě)回全局內(nèi)存批歸一化再?gòu)娜謨?nèi)存讀出來(lái)算完再寫(xiě)回ReLU再讀一次。三次搬運(yùn)每個(gè)中間結(jié)果都是一整張?zhí)卣鲌D。融合之后卷積計(jì)算的結(jié)果直接留在片上緩沖區(qū)批歸一化和ReLU在這個(gè)結(jié)果上原位計(jì)算最后只寫(xiě)一次最終結(jié)果。實(shí)測(cè)下來(lái)這個(gè)融合把三段串行算子的總耗時(shí)壓縮了約43%主要省的就是中間結(jié)果反復(fù)搬運(yùn)的時(shí)間。這里要特別提一句融合不是所有算子都能做必須滿足數(shù)據(jù)依賴關(guān)系是線性的、中間結(jié)果不需要給其他分支使用的條件。強(qiáng)行融合會(huì)破壞數(shù)據(jù)依賴或增加寄存器壓力得不償失。5.3 自動(dòng)混合精度與內(nèi)存復(fù)用編譯器的隱形加速器除了算子融合圖編譯階段還有兩個(gè)容易被忽視的優(yōu)化手段自動(dòng)混合精度和內(nèi)存復(fù)用。自動(dòng)混合精度是把一部分算子從FP32降到FP16執(zhí)行在幾乎不影響精度的情況下把計(jì)算量減半、搬運(yùn)量減半。但這不是無(wú)腦全降某些對(duì)數(shù)值敏感的操作比如Loss計(jì)算、部分歸一化層必須保留FP32。CANN的自動(dòng)混合精度機(jī)制有算子白名單和黑名單策略能自動(dòng)識(shí)別哪些算子適合降精度。內(nèi)存復(fù)用則是把生命周期不重疊的中間張量分配到同一塊物理內(nèi)存。比如兩個(gè)算子的輸出不會(huì)同時(shí)存在它們就可以共享內(nèi)存。這個(gè)優(yōu)化對(duì)端側(cè)部署尤其重要因?yàn)槎藗?cè)內(nèi)存非常有限復(fù)用得好的模型能省出20%到30%的內(nèi)存占用直接關(guān)系到模型能不能在這臺(tái)設(shè)備上跑起來(lái)。6. 端側(cè)部署從模型文件到高效推理服務(wù)的完整鏈路6.1 ATC模型轉(zhuǎn)換時(shí)那些容易被忽略的配置項(xiàng)模型在PC端訓(xùn)練好之后不能直接拿到端側(cè)設(shè)備上跑需要經(jīng)過(guò)一步模型轉(zhuǎn)換。在CANN體系里這個(gè)轉(zhuǎn)換工具通常叫ATCAscend Tensor Compiler負(fù)責(zé)把訓(xùn)練框架的模型格式轉(zhuǎn)換成端側(cè)推理設(shè)備能執(zhí)行的格式。ATC轉(zhuǎn)換的核心輸入包括原始模型文件、輸入數(shù)據(jù)的形狀和格式定義、輸出節(jié)點(diǎn)名、目標(biāo)設(shè)備型號(hào)。這幾個(gè)信息一個(gè)都不能錯(cuò)。我最常踩的坑是輸入形狀定義不匹配訓(xùn)練時(shí)模型是動(dòng)態(tài)Shape輸入尺寸每次都可能變但轉(zhuǎn)換時(shí)如果不顯式指定Shape范圍轉(zhuǎn)換出來(lái)的模型很可能只支持固定尺寸推理時(shí)一旦輸入尺寸變了直接報(bào)錯(cuò)。端側(cè)部署的常見(jiàn)場(chǎng)景里輸入形狀可能是固定大小也可能在一定范圍內(nèi)浮動(dòng)把握好這兩類需求后就能在模板和邊界條件之間做好取舍。如果需要在推理階段動(dòng)態(tài)改變輸入尺寸就得配置動(dòng)態(tài)Shape功能同時(shí)設(shè)置好Shape范圍。范圍設(shè)太大會(huì)浪費(fèi)內(nèi)存和算力范圍設(shè)太小超出范圍的輸入會(huì)被拒絕。合理的做法是根據(jù)真實(shí)業(yè)務(wù)場(chǎng)景統(tǒng)計(jì)輸入尺寸分布覆蓋絕大多數(shù)情況即可沒(méi)必要追求理論上的全范圍支持。轉(zhuǎn)換后生成的文件一般包含模型結(jié)構(gòu)和權(quán)重?cái)?shù)據(jù)是端側(cè)推理引擎直接加載的格式。轉(zhuǎn)換過(guò)程還會(huì)做一次圖優(yōu)化把前面提到的融合、量化等策略固化到最終模型里所以ATC階段對(duì)推理性能的影響不亞于算子開(kāi)發(fā)階段。6.2 ACL推理流程的最小可跑骨架模型轉(zhuǎn)換完成后端側(cè)推理一般通過(guò)ACLAscendCL推理API來(lái)執(zhí)行。這套API的設(shè)計(jì)思路和很多推理運(yùn)行時(shí)類似初始化設(shè)備、加載模型、創(chuàng)建輸入輸出、執(zhí)行推理、釋放資源。最小可跑的推理流程骨架如下// 初始化設(shè)備 aclInit(nullptr); aclrtSetDevice(0); // 創(chuàng)建上下文 aclrtContext context; aclrtCreateContext(context, 0); // 加載模型 aclmdlDesc *modelDesc aclmdlCreateDesc(); aclmdlLoadFromFile(model.om, modelId); aclmdlGetDesc(modelDesc, modelId); // 準(zhǔn)備輸入輸出內(nèi)存 void *inputBuffer nullptr; void *outputBuffer nullptr; aclmdlSizeOfBuffer(modelDesc, ACL_INPUT); aclrtMalloc(inputBuffer, inputSize, ACL_MEM_MALLOC_HUGE_FIRST); aclrtMalloc(outputBuffer, outputSize, ACL_MEM_MALLOC_HUGE_FIRST); // 執(zhí)行推理 aclmdlExecute(modelId, inputBuffer, outputBuffer); // 釋放資源 aclrtFree(inputBuffer); aclrtFree(outputBuffer); aclmdlUnload(modelId); aclrtDestroyContext(context); aclrtResetDevice(0); aclFinalize();這個(gè)骨架里需要注意的細(xì)節(jié)是輸入輸出內(nèi)存的對(duì)齊和生命周期。推理API要求輸入輸出內(nèi)存必須是本設(shè)備可訪問(wèn)的內(nèi)存由特定接口分配而不是普通malloc來(lái)的內(nèi)存。如果在PC端開(kāi)發(fā)調(diào)試直接用到PC內(nèi)存會(huì)導(dǎo)致推理失敗。這塊在文檔里寫(xiě)得清楚但很多人第一遍跑不通大多是栽在這里。6.3 多路并發(fā)推理時(shí)的兩個(gè)隱蔽問(wèn)題端側(cè)場(chǎng)景往往不是單次推理而是要同時(shí)處理多路請(qǐng)求。多路并發(fā)時(shí)有兩個(gè)問(wèn)題特別隱蔽。第一個(gè)是設(shè)備上下文的線程安全問(wèn)題。ACL的上下文是非線程安全的每個(gè)線程需要獨(dú)立創(chuàng)建自己的上下文不能多個(gè)線程共享同一個(gè)上下文執(zhí)行推理。曾經(jīng)有一次排查性能問(wèn)題時(shí)發(fā)現(xiàn)兩個(gè)線程同時(shí)用一個(gè)上下文結(jié)果推理結(jié)果錯(cuò)亂排查了很久才發(fā)現(xiàn)是上下文沖突。解決方法是每個(gè)線程創(chuàng)建獨(dú)立上下文互不干擾。第二個(gè)是Batch推理的輸入拼接問(wèn)題。如果業(yè)務(wù)場(chǎng)景里每個(gè)請(qǐng)求的數(shù)據(jù)尺寸不一致就不能簡(jiǎn)單拼成一個(gè)大Batch送進(jìn)去需要做Padding到統(tǒng)一尺寸或者在模型側(cè)支持動(dòng)態(tài)Batch。Padding到統(tǒng)一尺寸會(huì)浪費(fèi)計(jì)算但實(shí)現(xiàn)簡(jiǎn)單動(dòng)態(tài)Batch省算力但配置復(fù)雜。實(shí)際項(xiàng)目里要看端側(cè)設(shè)備的算力余量算力充足就Padding算力緊張就做動(dòng)態(tài)Batch。多路并發(fā)還有一個(gè)容易被忽略的性能點(diǎn)請(qǐng)求調(diào)度順序。如果多個(gè)請(qǐng)求的輸入尺寸差異很大小請(qǐng)求排在大請(qǐng)求后面會(huì)讓小請(qǐng)求等很久影響單次響應(yīng)延遲。一種常用的策略是小請(qǐng)求優(yōu)先大請(qǐng)求稍微靠后用響應(yīng)延遲的均衡換取整體吞吐的穩(wěn)定這屬于業(yè)務(wù)調(diào)度層能做的手腳跟算子優(yōu)化一樣能帶來(lái)可觀收益。7. 真實(shí)項(xiàng)目里的調(diào)優(yōu)鏈路從Profile到驗(yàn)證的閉環(huán)7.1 怎么用Profiling數(shù)據(jù)找到真正的熱點(diǎn)而不是靠猜整個(gè)鏈路搭起來(lái)之后性能是否達(dá)標(biāo)必須用Profiling工具說(shuō)話不能靠經(jīng)驗(yàn)猜。Profiling數(shù)據(jù)通常包含幾個(gè)維度算子級(jí)耗時(shí)、數(shù)據(jù)搬運(yùn)耗時(shí)、計(jì)算單元利用率、內(nèi)存帶寬利用率、各核心負(fù)載分布。拿到Profiling結(jié)果后的分析順序我通常按下面幾步來(lái)走先看各算子耗時(shí)排名找到Top耗時(shí)算子??碩op算子的計(jì)算利用率判斷是計(jì)算瓶頸還是搬運(yùn)瓶頸。查看搬運(yùn)耗時(shí)占比如果搬運(yùn)時(shí)間超過(guò)計(jì)算時(shí)間優(yōu)先優(yōu)化數(shù)據(jù)復(fù)用和搬運(yùn)連續(xù)化。查看各核心負(fù)載分布如果負(fù)載不均調(diào)整Tiling的多核切分策略。最后才看指令流水線細(xì)節(jié)比如是否因數(shù)據(jù)依賴導(dǎo)致流水線停擺。有一個(gè)真實(shí)案例某模型部署后整體延遲超標(biāo)Profiling顯示一個(gè)卷積算子占了60%耗時(shí)。但我一開(kāi)始沒(méi)看利用率直接優(yōu)化搬運(yùn)邏輯折騰了兩天效果一般。后來(lái)重新看數(shù)據(jù)發(fā)現(xiàn)這個(gè)算子計(jì)算利用率只有40%出頭問(wèn)題出在計(jì)算單元利用率不足——Tiling切得太碎每塊數(shù)據(jù)算的時(shí)間太短搬運(yùn)間隔太長(zhǎng)計(jì)算單元大量時(shí)間在等待。于是調(diào)整切塊尺寸讓每塊計(jì)算時(shí)間拉長(zhǎng)利用率直接到了70%整體延遲降了一半。這個(gè)案例提醒我Profiling數(shù)據(jù)要看全單看一個(gè)維度容易誤診。算子耗時(shí)高只是癥狀病因可能是計(jì)算、搬運(yùn)、調(diào)度任何一個(gè)環(huán)節(jié)。7.2 性能優(yōu)化常用手段清單按性價(jià)比排序這些年做算子優(yōu)化我把常用手段按性價(jià)比排了個(gè)序新手可以直接照這個(gè)順序來(lái)優(yōu)先級(jí)優(yōu)化手段預(yù)期收益實(shí)現(xiàn)成本高完善Tiling切分增大數(shù)據(jù)復(fù)用明顯常能翻倍低高數(shù)據(jù)搬運(yùn)連續(xù)化與對(duì)齊明顯低高啟用雙緩沖或多級(jí)流水線明顯減少等待中中指令選型升級(jí)標(biāo)量→矢量→矩陣部分場(chǎng)景收益大中中融合前后端算子減少落盤(pán)明顯但受限中中多核切分負(fù)載均衡視負(fù)載不均程度中低指令級(jí)微調(diào)循環(huán)展開(kāi)、依賴消除有限高這個(gè)排序不是絕對(duì)的但大方向是對(duì)的先解決數(shù)據(jù)層面的問(wèn)題再解決計(jì)算層面的問(wèn)題最后才做指令級(jí)微調(diào)。我見(jiàn)過(guò)有人花幾天做循環(huán)展開(kāi)收益不到3%但其實(shí)他的Tiling切分一塌糊涂數(shù)據(jù)復(fù)用率低得驚人——那種情況下把Tiling改好收益以倍計(jì)。還有一個(gè)基本的驗(yàn)證習(xí)慣每次優(yōu)化只改一個(gè)變量改完就跑Profiling對(duì)比確認(rèn)收益來(lái)自這個(gè)改動(dòng)而不是其他巧合。同時(shí)優(yōu)化多個(gè)變量很難定位到底是誰(shuí)起的效果也會(huì)讓后續(xù)回歸測(cè)試變得不可控。7.3 端側(cè)部署后的驗(yàn)證與回歸性能達(dá)標(biāo)不算完性能調(diào)優(yōu)完成后還有一個(gè)必須做的環(huán)節(jié)功能正確性驗(yàn)證和精度回歸。算子的數(shù)值計(jì)算邏輯和框架原始實(shí)現(xiàn)的輸出可能存在微小差異尤其是使用混合精度或快速算法后誤差會(huì)變大。端側(cè)場(chǎng)景里如果對(duì)精度有硬性要求比如分類任務(wù)的Top-1準(zhǔn)確率需要在部署前后做對(duì)比測(cè)試。我習(xí)慣搭建一個(gè)對(duì)比測(cè)試腳本輸入同一組測(cè)試數(shù)據(jù)分別用原始框架在PC端跑和轉(zhuǎn)換后的模型在端側(cè)跑逐層對(duì)比輸出。對(duì)比時(shí)用兩個(gè)指標(biāo)絕對(duì)誤差和相對(duì)誤差設(shè)置一個(gè)容忍閾值。如果某些層的誤差超過(guò)閾值優(yōu)先檢查這些層的算子實(shí)現(xiàn)是否存在數(shù)值穩(wěn)定性問(wèn)題。還有一個(gè)部署后容易忽略的回歸項(xiàng)連續(xù)運(yùn)行穩(wěn)定性。端側(cè)設(shè)備長(zhǎng)時(shí)間推理可能出現(xiàn)內(nèi)存泄漏、性能衰減、溫度過(guò)高導(dǎo)致的降頻等問(wèn)題。建議壓測(cè)至少持續(xù)幾小時(shí)觀察延遲曲線是否平穩(wěn)。我碰到過(guò)一次推理延遲初期正常一小時(shí)后逐漸變高最后定位是推理上下文沒(méi)釋放導(dǎo)致內(nèi)存碎片積累內(nèi)存分配越來(lái)越慢。這種問(wèn)題屬于運(yùn)行時(shí)資源管理層面的在Profiling單算子階段根本不會(huì)暴露只能在長(zhǎng)時(shí)間壓測(cè)里發(fā)現(xiàn)。最后分享一點(diǎn)個(gè)人體會(huì)全鏈路加速這件事沒(méi)有一勞永逸的解決方案。算子優(yōu)化、圖編譯、端側(cè)部署、性能調(diào)優(yōu)每個(gè)環(huán)節(jié)單獨(dú)拎出來(lái)都有大量細(xì)節(jié)但它們永遠(yuǎn)是互相牽連的。算子寫(xiě)得好圖優(yōu)化省力圖優(yōu)化做得好部署階段的內(nèi)存焦慮就小部署配置得當(dāng)性能調(diào)優(yōu)才不會(huì)面對(duì)一個(gè)先天不足的模型。我最早做算子優(yōu)化時(shí)總想把每行代碼都調(diào)到極致后來(lái)發(fā)現(xiàn)粒度太細(xì)反而失去全局視野?,F(xiàn)在的習(xí)慣是先從整條鏈路最粗的瓶頸入手——數(shù)據(jù)搬運(yùn)、Tiling、融合這些是決定量級(jí)的優(yōu)化確認(rèn)粗粒度優(yōu)化到位后再回頭處理指令級(jí)細(xì)節(jié)。這樣下來(lái)整體鏈路穩(wěn)定可控性能也能達(dá)到預(yù)期范圍。希望這篇文章能幫你少走一些我走過(guò)的彎路把整個(gè)鏈路理解成一個(gè)系統(tǒng)來(lái)看待而不是零散地東改一處、西改一處。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
激情性爱五月天网页| 五月婷婷丁香综合| 成人丁香五月| 五月情婷婷五月| 色五月视频无码播放| 思思re视频在线| 激情五月婷婷网| 91成人看片| 这里只有精品视频在线| 国产欧美大香蕉一区| 99狠狠| 久婷婷| 色的色综合| 丁香丝袜五月| 日本婷婷色日| 天天干天天拍| 综合久久六月| 久/久精品99看9| sewuyue第四色| 激情综合色播| 天天日日夜夜| 二区成人视频| 色综合久久88色综合天天99| 五月天堂在线| 天天插天天插天天插天天插| 日本97人人| av在线观看网址| 99久久综合网| 五月天综合激情网| 国产一区二区三区影院| 婷婷网影院| 久久久久激情网| 五月色视频| 日韩在线五月天婷婷| 天天草天天摸| 国产精品久久久久9999小说| 久久99久久99精品免观看粉| 亚洲亚洲永久无码777777| 91色久| Aaa久久| 99热e| 天插天啪天啪天啪| 综合网亚洲| 久久婷婷五月综合色区| 色情五月天丁香社区| 2025最新亚洲激情在线| 91久久色| 丁香婷婷婷| 五月婷婷在线短视频| Va另类视频| 激情人妻综合| www久久久久久| 深爱五月婷婷开心中文字幕| 另类激情五月| 五月天婷婷色综合| 26uuu淫色| 色婷婷色综合久久精品V| 激婷网| 九九在线精点品| 青青草99re| 激情六月日韩| 艹B高清无码| 啪啪东京热| 激情性爱五月| 91干在线| 色丁香综合影院| 丁香六月婷月91婷月| 五月婷婷色综图片| 狠狠色丁香久久| 狠狠操狠狠色| 中文aV网| xx综合网| 久久在这里99| 中文字幕丰满乱孑伦无码专区| 欧美丁香六月在线观看视频| 天天上天天爽| 人人干人人看| 99热91| 色9999综合久久| 国产成人精品一区二区三区视频| 婷婷福利影院| 欧美黄色一级| 色综合久久88色综合天天人守婷| 99视频久久| 97九色视频| 天天草比天天爽| 67194成I人在线观看线路1| 99亚洲大片精品永久在线观看| 色丁香影院| 看逼中文字幕| 99爱在线免费视频| 天天色情站| 五月天色五月| 99亚色色色| 欧美乱码国产一级A片| 伊人大香蕉爱聚| 极品 少妇 内射| 99热思思| 99re这里只有精品免费| 国产99久久久国产精品免费看| 国产精品色婷婷99久久精品| www.色色五月天.com| 91丁香色| 色香五月天| 99操视频| 99re热99| 99欧美| 国产白丝在线一区| 91久久久久久久久久久| 五月天婷婷AV| 99操久久| 亚洲精品无码久久| 婷婷丁香激情综合色情| 91九色视频| 久久婷婷91| 婷婷日欧美在线观看| 在线成人国产| 婷婷婷婷婷开心无码播放| 雪千夏麻豆| 人妻在线中文字幕久久| 五月天另类小说久久小说网| 久色婷婷200| 日韩有码一区| 婷婷五月色天| 99操逼视频| 婷婷综合五月天| 九九精品热播| 婷婷五月天电影网| 中文无码精品一区二区三区| 中日韩美欧成人一区二区精品在线| 求可以看的AV网址| 伊人婷婷99热精品| 丁香五月六月婷婷殴美综合| 五月色丁香婷婷综合| 久久99成人性爱高清视频| 婷婷丁香五月天综合在线日韩| 天天摸日日舔狠狠添婷婷婷 | 91丨九色丨熟女丰满| 五月丁香综合影院| 91丨九色丨国产打屁股| 亚洲人人操| 婷婷五月天无码视频| 国产日韩精品SUV| 俺也去综合| 国成人网| 黄色成人网站在线播放| 熟女激情网| 风流少妇A片一区二区蜜桃| 色欲香综合网| 色欲av伊人久久大香线蕉影院| 欧美日韩国产伦精品日韩人妻一| 天天干天天干天天干天天干天| WWW久久久| www.五月天色色.com| 日韩狠狠色| 天天弄天天操| 色五月天本日| 五月婷婷六月天| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | www超碰| 丁香亭亭久久| 人人综合色| 色婷婷社区| 91互操| 思思热在线播放| 九九综合视频在线观看| 老司机视频lsj爱就色| 色综合久久久久久久久五月| 97热精品| 五月日韩中文字幕| 亚洲欧洲午夜成人精品av| 国产精品大香蕉| 国产亚洲精品AAAA片APP| 伊人婷婷五月天av| 91人人操人人| 啪啪日热| 婷香五月| 激情九九这里只有精品| 婷婷涩涩五月天| 久久久人妻| 天天免费日日夜夜夜夜| 丁香婷婷色五月| 色啦啦视频| 色综合久久综合中文综合网| 天天综合亚洲综合| 天天久综合网永久入口17v| 色婷婷视频在线| 欧美性爱5月天天天看| 婷婷亚州综合| 日本色婷婷| 久草五月天| 久久9视频| 六月色婷婷| 婷婷激情五月综合丁香社| 丁香婷婷五月人体| 99精品偷自拍| 97操碰碰无码视频| 亚洲国产色色| 丁香婷婷五月天激情四射| 黄色片久久| 亚洲天堂aaaa| 婷婷色情小说| 色婷婷六月性| 啪啪婷婷五月天激情| 天天爽夜夜操| 欧洲一区二区| ss99热| 五月天综合激情网| 午夜在线成人网站免费观看| 思思热在线视频精品| 噜噜噜噜在线| 五月激情婷婷图片基地| 性爱五月婷| 婷婷色综合| 激情五月色婷婷| 欧洲亚洲免费视频9| 色五月婷婷1| 成人精品视频99在线观看免费| 手机看片日日做夜夜| 婷婷丁香五月天影院| 亚洲乱码日产精品BD| 丁香五月欧美成人| 五月丁香综合激情| 亚洲综合激情五月| 激情五月com| 99熟女| 99在线一区| 99九九精品| 国产.亚洲.欧洲视频在线| 九九亚洲小视频| 亚洲色婷婷| 色五月大香蕉婷婷| 9999热精品| 婷婷D区| 综合网五月| 丁香六月亭亭久久综合| 日日噜狠狠色综合久久| 丁香五月婷婷色五月| 中文字幕激情综合| 中文字幕五月久久婷婷| 五月丁香色停停啪啪啪| 国产露脸150部国语对白| 操97| 欧美影院婷婷| 黄色片区子| 日本高清综合网五月丁香| 久久婷婷五月综合色播| 异能之下短剧免费观看全集| 久久婷婷综合网| 五月婷免费视频| 久久综合55| 97超碰免费超级在线观看| 五月丁香综合啪啪啪啪啪| 九色无码| 99日精品视频| 久久婷婷综合国产| 另类亚洲视频| 久久九九国产| 色色色婷婷五月| 亚洲成人AV在线| 亚洲精品字幕| 欧美三级巜人妻互换| 丁香激情五月天| 91丨九色丨丰满人妖| 99色亚洲| 丁香五月激情鲁| 99re这里只有精品首页| 五月婷六月天| 五月婷导航| 婷婷六月开心网| 六月婷婷天天操夜夜爽视频| 五月丁香啪啪啪免费看| 停停色综合伊人| 色婷婷五月天激情在线播放| 亚州视频九九99| 六月丁香婷婷拍拍| 精品人妻伦| 久婷婷五月丁香在线观看| 伊久久婷婷| 丁香五月91| 国产精品视频免费看| 婷婷六月综合基地| 久婷婷婷| 九九综合九九| 婷香五月| 久久视频这里都是精品| 99热思思在线观看| 天天开心AV色综合婷婷五月天| 5月婷婷性视频| 亚洲婷婷五月天在线激情综合网| 美妞av| 丁香午月AV中文字幕| 第2色五月婷| 成人婷婷色五月天| 99热只有这里才是精品| 五日激情综合| 狠狠干综合| 丁香五月婷婷色| 九九久久综合| 欧美电影在线观看| 九一牛视频探花| 天天久久婷婷| 成人电影在线免费试看| 天天人人综合| 婷婷五月天美女视频| 狠狠干五月丁香综合网| 激情综合网五月婷婷| 任你搞网站| 色婷婷五月天偷拍| 专区无日本视频高清8| 777精品久无码人妻蜜桃| 五月成人丁香av91| 成人丁香五月婷| 婷婷丁香九月| 男人天堂亚洲综合| 看国产探花操逼三级片| 永久免费一区二区三区| 丁香五月综合| 天天操天天国产三级片处女学生妹| 久操人| 精品激情| 久热这里只有精品视频6| 五月丁香精品| 影音先锋色色色资源色资源色| 丁香5月综合啪啪| 狠狠干青青草| 婷婷激情人妻| 精品一二三区久久AAA片| 久久日婷婷| 97热精品| 夜夜操狠狠操天天操| 狠狠五月综合在线| 99这里| 婷婷丁香九色| 91精品综合久久婷婷九色| 久久综合爱| 亚洲 无码 中文字幕 中出| 亚洲精品大片| 六月丁香啪啪啪| 日韩三级视频一区二区| 影音先锋噜一噜| 亚洲mm色| 五月婷婷熟女| 激情 久久 婷婷| 性色婷婷| 无码髙清| 夜色.cnm| 五月婷婷影| 色五月色情| 可以免费看AV网站| 色综合久久44| www网站在线观看| 思思精品久久艹| 99热这里只有精品98| 激情五月狠狠| 日本99久久| 婷婷9月天| 日本啪啪天堂| 99热精品中文字幕| 国产99久久久国产精品免费看| 成人在线免费网址| 五月婷婷色男女| 婷婷丁香五月婷婷| 国产精品成人AV在线观看春天 | 色综合天堂| 综合五月天天天天天五月| 曰曰久久| 国产亚洲av片| 五月丁综合在线观看| 五月婷婷激情综合拍| 秋霞成人毛片一级A片| 99热传媒| 天天开心婷婷丁香五月| 久久婷婷丁香| 97人人干。| 丁香婷婷免费| 狠狠草在线观看| 这里只有精品在线观看视频| 丁香五月婷婷综合精品素人| 天天色天天色天天色天天色天天色| 91丨九色丨东北熟女| 偷偷操九九| 日本五月婷婷久久久六月丁香| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 99视频内射三四| 婷婷五月色色| 久久综合人妻| 久久久潮喷-久久久九九-成人AV| www.激情五月天。com| 人人草人人爱| 五月丁香综合激情| 91性高潮久久久久久久久| 五月婷婷六月开心| chaopengdaxiangjiao| 精品成人在线观看| 久久久久久久人妻| www.夜夜爱.com| 色婷婷4| 亚洲熟女色| 久久五月天丁香| 人人添人人| 99视频这里有精品| 好看的国产精品| 精a品a| 国产又色又爽又黄又免费| 超碰免费在线| 久久亚洲激情五码| 青青草网武则天| 丁香综合网| 国产真人做爰视频免费| 十月丁香婷婷| 成人做爰A片免费看视频| 色综合区| 色欲天天综合网| 99综合成人视频在线观看| 热99这里只有精品视频| 1024亚洲无码| 婷婷五月天综合中文| 欧美搡BBBBB摔BBBBB| 亚洲热手机在线观看| 久久婷婷视频| 伊人久久婷婷| 久久久久人妻精品| 99在线观看亚洲| 五月婷婷之综合激情| 日韩啪| 狠狠色五月| 大香蕉狠狠爱主页| 91狠狠色丁香| 黄网免费观看| 色区久久| 久久曰曰| 九九成人| 婷婷五月激情热播| 狠狠精品干练久久久无码中文字幕| 狠狠色婷婷在线| 91超级碰| 天天爽成人综合网站| 午夜丁香婷婷| 这里只有精品视频国产| 国产精品久久久久久喷浆| 国产乱码久久| 亚洲欧洲中文日韩久久AV乱码| 成人五月天在线视频在线观看| 91碰碰碰| 天天爽综合| 影音先锋五月婷婷| 丁香六月婷婷综合缴| 欧亚中文A V| 五月婷婷婷丁香播| 日本欧美在线| 色五月激情婷婷| 91九色中文| 超碰在线免费观看日韩| 性爱综合网| 五月丁香淫淫婷婷婷| 国产国产乱老熟女视频网站97| 婷婷久久丁香五月| 色婷婷久久综合中文久久一本| 99热这里| 久久五月网| 99无吗| h在线看免费版在线看| 五月婷婷七月丁香| 九九热在这里只有精品| 99热在线网站| 91久久1118| 久久99综合| 五月天啪啪| 丁香五月深爱五月婷婷| 毛片九九九九九九| 激情VA视频| 69久久99精品久久久久| 大香蕉久久| 婷婷五月天伊人网在线观看视频| 激情av网| 99re思思热久久| 五月婷婷熟女| 性爱网六月丁香| 色九月婷婷综合| 五月婷婷丁香综合| 婷婷D区| 国产色色视频| 五月天丁香啪啪综合| 色色三级视频| 久久92| 久久杏爱视频| 五月天基地| 五月天婷婷视频| 五月的婷婷六月丁香| 伊人大香久久| 天天日天天摸| 深夜A片| 亚洲视频五区| 久久五月天激情| 五月天淫乱视频| 激情婷婷五月女| 丁香五月婷婷综合激情啪啪啪| 色七七九九| 天天免费成年人视频| 99se丁香| 久久久久er热| 99无码黄色视频| 五月婷婷基地| 亚洲啪啪精品| 极品少妇高潮啪啪AV无码| 久久538| 亚洲婷婷在线播放十月| 婷婷99视频全集高清| 色五月综合在线| 五月婷婷涩涩爱| 五月天激情网页| 久99视频在线观看| 久热伊人91| 国产激情AV| www夜夜操wwwcon| 婷婷激情性爱| 日本高清不卡免费一区二区三区| 丁香五月影院| 玖玖五月丁香| 99热视精品| 丁香综合婷婷开心激情网| 这里只有精品96| 中文字幕av久久爽一区| 五月婷婷免费在线观看视频| 欧美成人热| 大香蕉婷婷丁香| 青草视频在线观看视频| 丝袜大香蕉| 亚城区在线| 婷婷五月天激情网址| 吾爱AV导航| 中国女人内射6XXXXX| 99视频在线精品| 国产26uuu视频| av在线资源| 九九九九中文字幕| 九九色网专区| 久久99热这里只频精品6学生| 六月婷婷视频| 26uuu另类亚洲欧美日本一| 激情五月天婷婷久久久久久久久久久| 成人精品人妻| 第1影院之五月婷婷| 男男野外做爰全过程69| 99性爱视频| 久久久五月五丁香| 婷婷综合五月天| 丁香欧美| 密臀久久| 五月婷婷激情综合在线| 亚洲第一成人无码A片| 久久五月天丁香| 国产AV熟妇人震精品一品二区| 婷婷五月天丁香花| 91婷色| 五月丁香五月综合欧美| 婷婷五月天在线综合| 五月色婷婷综合丁香精品无遮挡| 国产99热在线看| 色九月婷婷综合| 中文字幕不卡视频| 伊人网色婷婷五月天| 五月婷婷色| 天天爽天天干| 26uuu成人网| 婷婷射丁香| 激情综合五月婷婷六月丁香| 99热99热不卡| 97五月天婷婷| 99精品22| 亚洲色色香蕉| 啄木鸟丝袜美女福利视频| 开心五月婷婷在线| 99久久婷婷五月天| 蜜乳国产网站| 97好吊操| 婷婷丁香五月天在线| 深爱五月天 开心网| 五月天六月天| 日日鲁鲁夜夜爽爽| 丁香五月婷婷激情123| 极品 少妇 内射| 天天人人天天爽| 天天色爽| 99成人精品| 性爱在线播放av| 五月色网| 成人做爰A片免费看网站找不到了| 婷婷午夜激情| www.天天色综合| 亭亭玉立国色天香| 99热日韩这里只有精品| 五月激情网五月综合网| 五月婷婷在线网站| 久久这里只有精品22| 天天搞天天色综合| 色婷婷激情五月天在线观看| 久久机热这里只有精品| 欧美色色色色色| 五月天成人综合| 日韩三级高清无码| 五月天婷婷爱| 丁香九月婷婷| BBWCUCKOLD精品熟妇| 国产精品激情AV久久久青桔| 亚洲欧美综合7777色亭亭| 久久密臀婷婷| 激情久久 婷婷| 激情综合网五月| 九月婷婷久久久| 丁香亭亭久久| 麻豆123区| 六月久久狠狠| 97超碰在线免费观看| 激情99热| 欧美激情综合| 亞洲自怕| 色久影院| 激情五月天在线观看婷婷| 国产阿姨日皮艹逼内射视频| 国产日日操夜夜操的肉棒视频| 玖玖资源站蜜臀| 九九热视频在线观看| 丁香婷婷性爱| 成人免费120分钟啪啪| 风流少妇A片一区二区蜜桃| 97色射| 99热99天堂| www.超碰在线| 26UUU在线观看| 激情婷婷五月天日本系列| 色五月综合| XX色综合| 丰滿爆乳一区二区三区| 香蕉久久国产av一区二区| 丁香六月久久| 婷婷激情五月综合基地| 可以看的AV网站| 精品久久99| 国精产品一区一区三区免费视频 | 丁香六月天之亚州热女| 婷婷五月天综合久久| 国产又粗又大又爽又黄| 中文字幕+中文在线| 91九色精品熟女内射| er99免费视频在线| 婷婷色操| 乱岳熟女50岁| 亚洲成人另类| 五月视频日本免费观看| 激情五月天偷拍综合网| 久久激情视频| 婷婷五月a| 无码日本精品XXXXXXXXX| 在线播放成人| 91欧美| 久久这里只有精品22| 97人人看| 五月天丁香婷婷视频网址| 色噜噜97视频在线观看| 99在线爽| 色综合色| 伊人在线视频| 丁香五月色五月| 青青五月天婷婷| 五夜丁香| 2025超碰| 久久香蕉影院| 六月久久狠狠| 丁香六月综合激情| 激情久久久久久久久久久| 精品少妇蜜臀91| 婷婷伊人綜合中文字幕| 五月天丁香花婷婷| 天天色天天爱天天舔| 韩国激情五月天综合网| 亚洲最大成人综合网720P| 久久久久久久久久91| 婷婷五月天第四色| 久久久久人妻精品| 伊人五月婷婷| 玖玖资源站中文| 乱精品一区字幕二区| 九九色人| 婷婷婷婷婷婷婷婷| 婷婷五月激情四射手| 色999亚洲人成色| 可以免费观看的AV| 97爱艹婷婷开心丁香激情综合| 九九色人| 99综合| av免费在线看不卡无毒| 久久五月六月| 丁香五月天激情| 殴美日韩成人| 亚洲情a| 日韩国产在线精品| tingtingjiqingwuyue| 色婷综合| 91狠狠色| 777.色色| 丁香五月婷婷少妇| 亚洲精品国产A久久久久久| 色五月婷婷九月| 亚洲操B视频| 色婷婷丁香五月天在线观看| www.99热视频| 国产全是老熟女太爽了| 九九热自拍| 激情性五月天免费小说视频 | 少妇熟女视频一区二区三区| 九九热99视频在线| 九九热av| 婷丁香五月天| 五月丁查人人| 热久久婷婷| 激情爱爱网站超大免费| 99热精品在线在线| 欧美色必爱| 操嫩逼电影| 疯狂做受XXXX高潮A片动画| 任你干嘛免费视频播放| 中字幕视频在线永久在线观看免费| 伊人五月天97| 综合激情视频| 日日干四虎| 国产精品国产| 超碰97色| 色婷婷五月天天天干天天操天天爽| 亚洲欧洲中文日韩久久AV乱码| 99热香港| 婷婷97色| 五月婷婷六月天| 久久的爱大香蕉| 天天爽免费视频| 9久热在线视频| www.日日夜夜.com| 激情五月色综合网| 色在线视频网2025| 五月激情婷婷四射| www.婷婷五月天| 色综合久久久综合久久网| 色噜噜婷婷| 五月丁香久久久久| 丁香六月啪啪| 激情五月天色婷婷综合| 婷婷五月在线| 婷婷深爱五月天| 久热这里只有精品性色AV| www.91色| 婷婷五月色天| 亚洲综合激| 久久国产高清| 色五月激情综合网| 色噜噜狠狠狠综合曰曰曰| 天天肏天天舔AV| aa久久| 深爱五月天 开心网| 色色免费网站| 日本五月丁香| WWW99视频| 久久婷婷影院| 激情五月婷| renre人人操国产超碰在线| 婷婷午夜综合| 99综合视频| dingxiangtingtingliuyue| 97五月天婷婷综合激情网| 专区无日本视频高清8| 久久久大香蕉| www,欧美干干干干干干| 一级无码作爱片| 国产乱子轮XXX农村| 五月丁香综合啪啪| 五月丁香色色色| 极品人妻VideOssS人妻| 九九热免费| 337p午夜影院| 射区导航| 少妇大叫太大太粗太爽了A片| WWW.桔色成人.COM| Www,五月天| 色婷婷五月天堂资源| 五月丁香六月色| 久热爱大香蕉在线蜜臀悦色| 亚洲丁香花五月丁香花| 色综合com| nvrentiantang av| 日韩一66精品| 欧美成人Va| 久久 中文 日本| 开心五月婷婷伊人| 天堂呦 呦百度搜索-百度搜索| 97精品人人A片免费看| 97碰碰在线看视频免费| 五月开心激情| 丁香五月天天高清在线| 思思热再线视频| 婷婷中文字幕| 性爱网久久| 婷色人人狠| 五月婷综合激情| 99热在线播放精品| 丰满老熟妇BBBBB搡BBB| 五月色网| 婷婷网五月天| 色五月超碰| 一起草Av| 日日.c| 日本啪啪网| 婷婷伊人中文字幕| 99re6在线视频精品免费| 伊人久久婷婷| 亚洲丁香婷婷丁香五月天激情| 99噜噜噜在线播放| 五月婷色| 玖玖婷婷视频| 亚洲狠狠色丁香婷婷综合久久| 操人无码| 99在线免费观看| 婷婷中文在线| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | 九月色婷婷| 久色视频首页| 婷婷五月丁综合| 9久热这里只有精品| 婷婷五月激情片| 天天插天天很| 婷婷干五月综合在线播放| 久久人妻视步| 99热8| 精品99在线观看| 五月天婷婷视频小说| 成人视屏在线观看| 91精品综合久久久久久五月丁香| 久久婷婷五月天| 丁香五月大香蕉在线99| 丁香九月激情久久| 五月丁香 啪啪| 一级黄色影片| 丁香六月天婷婷色| 婷婷五月婷婷五月天| 中国激情网| 99热在线观看免费精品| 色综合久久88色综合天天99| 欧美日韩成人在线| 中文字幕1区2区。| 91精品刘玥| 丁香久月| 亚洲五月天综合| 五月天婷婷伊人| 天天干,天天日| 婷婷激情五月天激情小说| 久re热视频| 婷婷五月天亚洲激情戏精品| 九九热免费| 五月天婷婷久久| 五月丁香婷婷色播无码| 永久地址 色| 色七七九九| 99九九热在线观看| 天天干天天色综合| 婷婷射图五月天| 综合色影院| 激情五月综合免费| 婷婷午夜丁香| 丁香婷婷午夜| 欧美大奶熟女噜噜噜噜| 五月天色官网| 97干在线| 丁香五月影院| 五月色网| 色玖玖导航| 五月婷婷免费在线观看视频| 久九色| 中文AⅤ大全| 五月激情综合激情五月| 狼人久草| 欧美色偷偷大香| 六月婷婷天天操夜夜爽视频| 久久66精品| 色婷婷狠狠| 激情久久 婷婷| 天天爽天天日天天舔| 国产精品第一国产精品| 亚洲无码11| 人人视频色| 伊人五月天| 欧洲激情网站| 婷婷五月天综合AV| 亚洲无码激情| 丁香五月天av| 激情图片五月天| 九九亚洲视频| 久9热视频| 婷婷六月偷拍| 天天拍久久| 五月婷丁香| 99在线精品视频免费| 狼友视频在线观看18| 91热在线观看视频| 丁香狠狠色婷婷久久无码视频| 日本狠狠干| 国产五月天激情小说| 精品人人操| 九九十99视频| 国产婷婷五月色情综合| 99热最新国内| 久久九九蜜| 99在线播放| 综合五月激情网| yw.av| 人人摸人人干| 99资源在线视频| 九九热黄色| 墨西哥毛片内射精| 婷丁香五月天| 91久久综合亚洲噜噜成人在线| 五月激情五月婷婷五月天在线| 最近韩国日本免费高清观看| 成人做爰A片免费看网站找不到了| 成人在线综合| 亚洲一区国产传媒| 棕合影院色色| 婷婷香香五月| 亚州操人在线视频| 人妻性操逼中文字幕 国产| 色五月综合网| 伊人婷婷青青cao| 亚洲深喉aV| 婷婷综合网站| 久久婷婷五月综合一| 91ncm视频| 日本色天堂| 97人人操人人干| 九九激情视频| 五月天婷婷乱论小说| 青青草99re| 在线视频99| 91狠狠色丁香婷婷综合久久精品| 五月婷婷六月丁香| 激情5月婷婷| 六月丁香婷| 丁香五月婷婷av影院| 天天综合色丁香| 亚洲色婷婷色| 99热免费网站| 丁香五月婷婷av影院| 九九九九这里只有精品| 欧美性色A片免费免费观看的 | 无码激情AAAAA片-区区| 五月综合777| 六月丁香啪| 丁香五月婷婷五月天| 中美日韩成人在线| 亚洲高清在线| 婷婷精品综合| 色婷婷成人做爰A片免费看网站| 夜夜爽日日躁| 亚洲色另类| 久久五月激情综合| 四川BBB搡BBB爽爽视频| 日本色色网站| 久久人妻人人| 人人爱操| 99久久婷婷国产综合精品草原| 91919191919久久成人视频| 成人婷婷色综合| 亚洲激情五月| 玖玖综合网| 五月丁香六月欧美综合| 伊人AV五月婷| 狼人婷婷综合| 99视频内射三四| 182.t午在线观看| 久久婷婷亚洲无码一起| 久久99综合| 夜夜操夜夜姧| 91九色国产熟女| 人妻精品一区二区三区| 99在线资源视频| 操久久精| 青青草a在线| 婷婷丁香在线播放| 色五月丁香五月| 久久久久久久11111111111| 91pornav在线| 五月丁香婷婷无码中文| 五月丁香婷婷潮喷中文字幕| 久久婷狠狠色| 极骚大香蕉伊人| 日韩精品超碰在线观看| 婷婷五月天激情综合| 天天干天天日天天操| 99热这里全都是精品| 大大香蕉综合在线| 成人 在线 日韩| 日日舔夜夜操| 99re这里只有| 综合五月激情| 97操碰| 天堂伊人干| 欧美久久婷婷| 狠狠色综合久久| 色婷婷五月天| 97碰人人操| 九月婷婷丁香| 九九热黄色| 9 1 A v久久久| 婷婷伊人激情婷婷| 91婷婷搞| 91狼友视频网页更新| 激情五月图| 激情五月天小说网| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 99热99网| 深爱激清网| 嫩草AV久久伊人妇女超级A| 五月开心久久| 天天日婷婷| 婷婷综合五月天| 9 1超碰九色| 丁香五月另类小说| 俺也去色| 日韩欧美颜射| 色哟哟www| www.久9| 99热综合在线观看| 九九综合色| 激情综合色婷婷啪啪六月天| 色色射| 91干婷婷| 五月社区丁香| 免费视频99| 九九热黄色| 久九色| 91凹凸在线| 婷婷五月色激情欧美激情| 亚洲精品又粗又大又爽A片| www.婷婷网| 激情五月天影院| www九九| 婷婷在线免费| 五月丁香亚洲校园欧美| 婷婷久久久久| 久久综合无| 久久人妻久久| 精品九九婷婷| 日日干天天爽| 99久久人人| 久久婷婷五月天蜜桃| 亚洲图色五月天| 九九99精品视频在线观看| 久久九九经典| 女人被男人吃奶到高潮| 爆乳熟女一区二区三区爆乳| 日本狠狠干| 综合99视频| 99久久婷婷| 久热婷婷| 97色色视频| 99亚洲大片精品永久在线观看| 久久五月天激情| 欧美激情 日韩无码 婷婷 五月天| 狠狠操.COM| 成人久碰| 久久精品系列| 99热播放| 色婷婷视频在线| 情婷婷五月天在线| 激情婷婷五月丁香啪啪啪| 玖玖资源站蜜臀| 九九大香视频| 色激情五月天| 9999色色色色| 国产性爱色| 91热99| 色亚洲色宗合| 婷婷五月欧美| 最新久久网址| 婷婷丁香久久五月综合| 99在线看视频| 丁香五月六月综合激情| 爱爱色五月天| 亚洲影院婷婷色| w婷婷五月婷婷w| 九九这里只有精品在线视频| 成人做爰高潮A片免费视频| 婷婷五月天成人小说| 4399亚洲视频| 九九在线热九九在线热99热| 激情网婷婷五月天| 欧美天天草人人草| 亞洲自怕| 可以看的AV| 五月婷婷久草在线视频综合| 婷婷射综合| av中文字幕免费观看| 99热新网址| 五月综合六月丁| 99视频35精品视频在线观看| 最近中文字幕2019视频1| 五月天六月色| 人妻乱码久久久| 精品99在线观看| 婷婷色色综合| 日韩黄黄| 五月亚洲| 丁香婷五月| 成人丁香五月| 99ri视频在线观看| 专区无日本视频高清8| 99九九热在线观看| 人人操人人爱丁香五月| 欧美日韩大黄| 婷婷人人操| 亚洲成人网址在线观看| 五月色综合| 99色干| jiZZdr| 五月婷婷激清网| 免费视频舔| 91超碰在线观看| 久久182| 操逼五月婷婷| 日产精品一线二线三线芒果| 五月婷在线| 五月丁香婷婷欧美| 五月开心深爱激情网| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | www,av好吊操| 亚洲 无码 中文字幕 中出| 婷婷性爱| 99在线视频精品| 狼人婷婷综合| 丁香六月激情毛片| 中文不卡av| 99九九这里有免费视频| 99ER热精品视频| 婷婷中文字幕| 五丁香激情综合| 亚州精品色情在线观看| www色色com| 99婷婷| 天天久久人人| 大香蕉中文| 五月婷婷黄色| 久9久9久9久9久9久9| 色情综合网| 在线播放中文字幕| 99精品在线| 99久久精彩视频。| 婷婷激情五月| 久久狠狠欧美| 噜噜噜噜噜日本视频| 久热这里只有国产| 亚洲 精品 综合 精品| 欧美日韩123| 五月婷婷很很色| 天天狠狠综合精区| 四色五月婷婷| 伊人久久大香线蕉亚洲五月天,| 高清免费在线视频| 丁香综合久久| 六月婷婷综合激情| xx久久| 欧美色五月| peg 2区三区四区的| 婷婷成人小说综合| 久久丁香久久| 亚洲色色色| 色色性爱视频| 粉嫩AV久久一区二区三区| 婷婷丁香五月天综合在线日韩| 性爱111111| 91碰超| 国产日批视频| 天天摸天天日天天舔| 丁香六月久| 中文字幕AV在线| 99网| 亚洲Av成人在线观看| 97视频久久| 五月婷婷 六月丁香| 色婷婷狠狠干芒果TV| 午夜丁香综合婷婷| 久久五月天婷婷| 特黄三级又爽又粗又大| 五月天开心色情网| 六月丁香五月激情网| 色五月色五天免费视频| 色无码| 色色色五月天激情资源| 91vip在线观看| 5月婷婷激情6月| 天天日天天插| 国产无套精品一区二区| 高清国产一级婬片a免费| 五月婷婷开心深| 色婷婷五月天视频网站| 色色色成人网| 99久高清视频| 成人必爱视| a久久| 国产AV国片偷人妻麻豆| 久久五月天色婷婷| 99在线看片| 在线看片av| 午夜在线成人网站免费观看| 在线中文字幕视频| 激情网五月婷婷| 国产67194| 婷婷大乡焦噜噜| 日日肏夜夜干| 99色婷婷| 视频1区2区| 婷婷伊人綜合中文| 91九色国产在线| 九九热在线视频观看| 欧美日韩欧美| 天天开心天天色| 激情五月天婷婷| 婷婷五月丁香色色| 五月婷婷深深爱爱| 五月婷婷综合激情网| 久久日本wwww色| 婷婷亚洲丁香五月| 日日夜夜天天综合| www.久久久久久久久久久| 五月天婷婷中文字幕在线播放| 狠狠干天天日| 99自拍视频在线观看| 来吧亚洲综合网| 日韩小视频在线99| 激情婷婷五月色| 无码激情AAAAA片-区区| 五月天啪啪| 狠狠干综合| 国产AV不卡福利| 久狠日av| 人人肏逼视频在线一区二区| 激情涩涩网| 色情五月丁香| 偷偷狠狠久久婷婷五月天| 人妻av在线| 91九色丨国产丨爆乳| 99激情网| 五月丁香成人| 色色免费网站| 五月天久久综合| 天天肏在线观看| 九热精品| 色吧五月婷婷| 免费国产VA国产免费| 能看的av| 丁香 婷婷五月| 一本道在线电影| 色五月之第四色| 亚洲亚洲人成综合网络| 狠狠狠人妻| 老司机视频lsj爱就色| 丁香五月婷在线| 五月婷婷性爱视频| 伊人激情影院| 久久99精品九九久久久婷婷|