欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

AI推理加速器設(shè)計(jì)實(shí)戰(zhàn):從算子映射到INT8量化落地全解析

AI推理加速器設(shè)計(jì)實(shí)戰(zhàn):從算子映射到INT8量化落地全解析 做硬件加速這幾年來(lái)被問(wèn)得最多的一個(gè)問(wèn)題就是既然 CPU 和 GPU 都能跑模型為什么還要自己折騰 AI 推理加速器一開(kāi)始我也覺(jué)得這是個(gè)偽需求直到真在邊緣側(cè)設(shè)備上部署過(guò)幾個(gè)模型才明白——通用處理器要么算力不夠要么功耗壓不住真正要對(duì)功耗、時(shí)延和成本同時(shí)敏感的批量部署場(chǎng)景一塊精心設(shè)計(jì)的推理加速器往往比什么“通用算力神話”都靠譜。這篇就圍繞 AI 推理加速器的完整設(shè)計(jì)與優(yōu)化過(guò)程把我踩過(guò)的坑、驗(yàn)證過(guò)的方案和具體實(shí)操步驟攤開(kāi)講一講。這篇文章適合誰(shuí)看如果你正要做 FPGA 或?qū)S眯酒系纳窠?jīng)網(wǎng)絡(luò)推理部署或者你只是想在嵌入式設(shè)備上把模型跑得更快不希望只是調(diào)庫(kù)對(duì)參數(shù)那這里面講的設(shè)計(jì)思路、算子映射方法、量化落地細(xì)節(jié)和調(diào)試經(jīng)驗(yàn)應(yīng)該都能直接用上。很多內(nèi)容不區(qū)分具體芯片平臺(tái)只需要理解基本的計(jì)算機(jī)組成結(jié)構(gòu)就能跟著推演一遍。1. 設(shè)計(jì)思路拆解先搞清楚到底要加速什么1.1 瓶頸在哪算力、訪存還是控制開(kāi)銷推理加速器的設(shè)計(jì)第一件事不是選芯片、不是寫(xiě) RTL而是先把模型的計(jì)算畫(huà)像算清楚。我說(shuō)的“計(jì)算畫(huà)像”不是看多少個(gè)浮點(diǎn)運(yùn)算而是靜態(tài)分析每個(gè)算子到底卡在“算”還是“搬”。以卷積層為例。假設(shè)輸入特征圖是 112x112通道數(shù) 32用 64 個(gè) 3x3 卷積核、stride 2 做卷積輸出就變成 56x56x64。這層的乘累加MAC次數(shù)大約是565664323*3也就是 1.8 億次 MAC。如果目標(biāo)吞吐率是 1G MAC/s那么光這一層的計(jì)算時(shí)間就是 180ms——這是純計(jì)算視角。但換個(gè)角度看內(nèi)存訪問(wèn)量輸入特征圖大小是 11211232每個(gè)數(shù)假設(shè)是 INT8也就是 401KB。64 個(gè) 3x3x32 的卷積核權(quán)重一共是 18KB。輸出特征圖是 565664共 200KB。單層的片上搬運(yùn)量大概 600KB 多。如果帶寬是 12.8GB/s比如常見(jiàn)的 DDR4 單通道搬運(yùn)時(shí)間也就 47us 左右。在這個(gè)例子里把數(shù)據(jù)反復(fù)地從 DDR 搬進(jìn)搬出反而遠(yuǎn)超計(jì)算時(shí)間。這就是典型的訪存密集型算子。我自己的習(xí)慣是拿到網(wǎng)絡(luò)結(jié)構(gòu)之后先把每一層的 MAC 總數(shù)、特征圖尺寸變化、權(quán)重體積、是否有點(diǎn)乘或 concat 這類高訪存算子列一張表。然后粗略算一個(gè)“算術(shù)強(qiáng)度”計(jì)算量除以訪存量。算術(shù)強(qiáng)度高的層是計(jì)算受限低的屬于訪存受限。加速器設(shè)計(jì)初期起碼要做一件事優(yōu)先優(yōu)化訪存受限的算子而不是盲目堆 MAC 陣列。提示很多人一開(kāi)始就興致勃勃地把卷積算子在硬件上改成最復(fù)雜的脈動(dòng)陣列結(jié)果發(fā)現(xiàn)整個(gè)網(wǎng)絡(luò)里只有三成時(shí)間花在卷積上另外一半時(shí)間卡在 Pooling、Resize 和 concat 的數(shù)據(jù)搬運(yùn)上這時(shí)候陣列做得再快也換不來(lái)整體性能。先分析再動(dòng)手這一條原則在任何硬件項(xiàng)目里都適用。1.2 計(jì)算與數(shù)據(jù)流架構(gòu)選型脈動(dòng)陣列、SIMD 還是混合方式明確了瓶頸下一步就是選架構(gòu)。業(yè)內(nèi)常見(jiàn)的推理加速器數(shù)據(jù)流方案大概可以分三類。第一類是 CPU 式的 SIMD也就是把乘加單元排成一排配合向量寄存器做單指令多數(shù)據(jù)。這種方案控制靈活可以處理各種形狀不規(guī)整的算子但需要復(fù)雜的指令調(diào)度和編譯器支持對(duì)算力利用率來(lái)說(shuō)不是最極致的選擇。第二類是脈動(dòng)陣列Systolic Array讓數(shù)據(jù)在陣列里規(guī)則流動(dòng)一個(gè)數(shù)據(jù)能被多次復(fù)用因此訪存壓力小功耗控制得也好。缺點(diǎn)是控制邏輯相對(duì)固定一旦遇到不規(guī)整的結(jié)構(gòu)比如 1x1 卷積和全連接其實(shí)很規(guī)整但各種 depthwise 卷積、稀疏化的模型就很容易出現(xiàn)空閑單元利用率大打折扣。第三類就是干脆做異構(gòu)組合主體用 SIMD 或者脈動(dòng)陣列跑主計(jì)算再配一塊通用的控制邏輯和 DMA 引擎專門(mén)處理數(shù)據(jù)搬運(yùn)和特殊算子。這屬于工程化比較務(wù)實(shí)的方案適用范圍廣但設(shè)計(jì)復(fù)雜度也最高。我在實(shí)際項(xiàng)目里做過(guò)一個(gè)偏邊緣的加速器原型我們內(nèi)部叫它“模擬項(xiàng)目 X”最開(kāi)始采用了一組 16x16 的脈動(dòng)陣列跑標(biāo)準(zhǔn)卷積效果不錯(cuò)但模型里一旦出現(xiàn) depthwise 卷積比如移動(dòng)端網(wǎng)絡(luò)里的 DSCNN 結(jié)構(gòu)利用率和算力優(yōu)勢(shì)立刻垮掉。后來(lái)改成 8 個(gè) SIMD 計(jì)算核配一個(gè)小規(guī)模陣列的組合方式配合專門(mén)的數(shù)據(jù)搬運(yùn)指令整體吞吐反而高出將近 40%。所以架構(gòu)選型不要只看“峰值算力多高”而是要看“實(shí)際模型的結(jié)構(gòu)到底適配哪種數(shù)據(jù)流”。如果是網(wǎng)絡(luò)結(jié)構(gòu)固定的產(chǎn)品算力很密集脈動(dòng)陣列可以做得很穩(wěn)如果是多模型多形狀的平臺(tái)化需求異構(gòu)組合往往更現(xiàn)實(shí)。2. 核心計(jì)算模塊細(xì)節(jié)算子映射與量化方案如何落地2.1 把卷積拆成硬件能吃的循環(huán)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)算子映射到硬件本質(zhì)上是對(duì)循環(huán)做變換。卷積的計(jì)算其實(shí)是一個(gè)五層循環(huán)遍歷輸出通道 k、輸入通道 c、輸出高度 h、輸出寬度 w、還有卷積分量 kh 和 kw。硬件上不可能一次性把所有這些循環(huán)都無(wú)限制展開(kāi)所以必須做分塊tiling。舉個(gè)例子設(shè)計(jì)一個(gè)加速器時(shí)我常先把卷積抽象成三個(gè)循環(huán)塊外層是輸出通道循環(huán)把它分成若干 block中間層是輸入通道循環(huán)做輸入特征圖和權(quán)重的分批加載內(nèi)層是輸出圖上的空間循環(huán)決定 MAC 單元怎么并行、數(shù)據(jù)怎么復(fù)用。為什么這么切因?yàn)檩敵鐾ǖ罌Q定了權(quán)重能不能駐留在片上。假設(shè)計(jì)算陣列寬度是 16輸出通道按 16 一個(gè) block 切那么 3x3x32 的卷積核一次只需要加載 16323*3 4.6KB 的權(quán)重只要 BRAM 放得下整個(gè) block 就只用從 DDR 讀一次權(quán)重。這在外設(shè)帶寬有限的系統(tǒng)里能省下非常多時(shí)間。數(shù)據(jù)流方面也都已經(jīng)總結(jié)出一個(gè)“stationary”的說(shuō)法。數(shù)據(jù)的駐留方式?jīng)Q定了你復(fù)用哪個(gè)數(shù)據(jù)Weight Stationary把權(quán)重固定在一組計(jì)算單元里反復(fù)使用適合權(quán)重小、特征圖大的卷積Output Stationary把部分和固定在寄存器里適合減少寫(xiě)回訪存Row Stationary輸入按行流動(dòng)對(duì)于不規(guī)則窗口和 MISD多指令多數(shù)據(jù)類運(yùn)算更友好。從我自己的設(shè)計(jì)經(jīng)驗(yàn)看輸出駐留往往對(duì)邊緣側(cè)推理加速器最直觀因?yàn)榫矸e的中間累加結(jié)果一旦搬回 DDR 就是無(wú)謂的帶寬浪費(fèi)。把部分和直接留在片上等整個(gè)輸出通道 block 累加完再一次性寫(xiě)回是最容易實(shí)現(xiàn)也最穩(wěn)的方案。2.2 INT8 量化的工程實(shí)現(xiàn)細(xì)節(jié)模型量化是推理加速器里繞不開(kāi)的核心環(huán)節(jié)。FP32 權(quán)重和激活值需要 32 位存儲(chǔ)和處理硬件面積和帶寬成本都太大FP16 對(duì)于芯片工藝來(lái)說(shuō)也不算省多數(shù)邊緣/嵌入式推理場(chǎng)景真正實(shí)用的是 INT8 甚至更低比特。量化落地有兩個(gè)關(guān)鍵點(diǎn)要講清楚。第一個(gè)是量化參數(shù)怎么確定。最常用的方案是非對(duì)稱線性量化即q round(r / scale) zero_point其中 scale 由量化前后數(shù)值范圍決定zero_point 把實(shí)數(shù) 0 映射到整數(shù)。這個(gè)映射關(guān)系需要在硬件里做一個(gè)減法再做一個(gè)乘法通常由加速器的預(yù)處理單元來(lái)做。scale 的確定有兩種主流手段直接根據(jù)權(quán)重張量的 min/max 計(jì)算這個(gè)簡(jiǎn)單但對(duì)激活值誤差較大用一套校準(zhǔn)數(shù)據(jù)集跑一遍網(wǎng)絡(luò)統(tǒng)計(jì)激活值的分布再用 KL 散度或者百分位數(shù)找閾值。我實(shí)際用過(guò)第二種方式效果比 min/max 穩(wěn)定得多。拿一個(gè)目標(biāo)檢測(cè)模型舉例校準(zhǔn)集用 200 張代表性輸入圖激活值量化的精度損失從 2.3% 降到 0.6% 左右。第二點(diǎn)是硬件上必須處理飽和與溢出。INT8 算完的乘積需要更高位的累加器至少是 INT32。假設(shè)一次累加 64 個(gè) INT8 乘積每個(gè)乘積最大就是 128*128 1638464 個(gè)加起來(lái)最大是 1,048,576明顯超出 INT16 的范圍所以累加器必須上 INT32。這部分在寫(xiě) RTL 時(shí)很容易被忽略導(dǎo)致精度災(zāi)難。注意量化感知訓(xùn)練QAT和訓(xùn)練后量化PTQ在項(xiàng)目里一定要提前區(qū)分。QAT 需要修改訓(xùn)練代碼成本大但精度高PTQ 只需要推理框架導(dǎo)出時(shí)校準(zhǔn)適合快速驗(yàn)證。實(shí)際項(xiàng)目里如果 PTQ 精度損失超過(guò) 1%再把敏感層挑出來(lái)用 QAT 或者混合精度處理一般能控制在可接受范圍。INT4 和更低比特的量化目前在部分加速器上也逐漸有人嘗試但除非你對(duì)模型的敏感層做了非常細(xì)致的誤差分析否則我還是建議謹(jǐn)慎。INT4 能省一半存取帶寬但精度損失和硬件實(shí)現(xiàn)復(fù)雜度是雙倍增加不是一個(gè)零成本的買(mǎi)賣(mài)。2.3 被忽視的那些算子Pooling、Concat 和殘差連接真正的實(shí)戰(zhàn)里卷積和全連接反而不是最讓人頭疼的。量化、單算子延遲、硬件時(shí)序大部分問(wèn)題都集中在“看起來(lái)很簡(jiǎn)單”的操作上。Pooling 的問(wèn)題在于它往往和卷積不在同一層里做數(shù)據(jù)流可能已經(jīng)走回了 DDR。如果加速器只加速卷積而池化交給 CPU 或其他核來(lái)處理那就是一次完整的數(shù)據(jù)發(fā)給 CPU 再傳回來(lái)晚了不少。比較有效的做法是把 max pooling 融合進(jìn)卷積的寫(xiě)回階段在最后輸出一個(gè)像素時(shí)直接比大小。Concat 和殘差連接更考驗(yàn)加速器的地址生成邏輯。這兩個(gè)操作不涉及任何乘加只是把多塊片上的內(nèi)存按順序搬到輸出區(qū)域。如果地址生成模塊寫(xiě)得不夠靈活最常見(jiàn)的現(xiàn)象就是硬件跑某個(gè)網(wǎng)絡(luò)時(shí)甚至比跑當(dāng)年模型還不穩(wěn)定因?yàn)榈教幎际菍?duì)齊錯(cuò)誤。這三個(gè)算子讓我學(xué)到最重要的一課加速器不只是算乘法更是一個(gè)數(shù)據(jù)搬運(yùn)和調(diào)度系統(tǒng)。設(shè)計(jì)時(shí)候給這些“白干活的模塊”留好帶寬和地址映射能力往往比給 MAC 陣列加面積更劃算。3. 實(shí)操過(guò)程從模型到板卡的四步走完整流程3.1 工具鏈選型和工程搭建HLS 還是 RTL很多剛?cè)腴T(mén)的人喜歡糾結(jié)一個(gè)問(wèn)題用 HLS高層次綜合還是寫(xiě) RTL我的答案是看階段。如果是做架構(gòu)原型驗(yàn)證HLS 的效率高很多。你可以在 C 里直接描述卷積循環(huán)的分塊邏輯讓工具綜合出流水線。雖然最終頻率可能不如手寫(xiě) RTL但對(duì)于驗(yàn)證“數(shù)據(jù)流對(duì)不對(duì)”“帶寬夠不夠”這些問(wèn)題已經(jīng)足夠了。下面給一個(gè)實(shí)際的 HLS 卷積核心示意偽代碼形式// 以 AXI 接口讀取輸入按 block 方式處理輸出通道 void conv_kernel( hls::streamap_int8 in_stream, hls::streamap_int8 weight_stream, hls::streamap_int32 out_stream, int input_h, int input_w, int num_blocks) { #pragma HLS INTERFACE axis portin_stream #pragma HLS INTERFACE axis portweight_stream #pragma HLS INTERFACE axis portout_stream ap_int32 acc[OUT_TILE_W]; #pragma HLS ARRAY_PARTITION variableacc complete dim1 // 按輸出通道 block 循環(huán) for (int ob 0; ob num_blocks; ob) { // 加載權(quán)重 block // 對(duì)空間維度做流水線 for (int h 0; h input_h; h) { for (int w 0; w input_w; w) { #pragma HLS PIPELINE II1 // 讀取輸入并做 MAC 累加 for (int i 0; i OUT_TILE_W; i) { acc[i] in_val * weight_val[i]; } } } } }這種代碼在綜合以后能自動(dòng)把中間循環(huán)轉(zhuǎn)成流水線。迭代間隔 II1 的意思是每個(gè)時(shí)鐘周期都要產(chǎn)生一個(gè)輸出點(diǎn)這是檢查性能的關(guān)鍵約束。但如果你做的是對(duì)面積和頻率極度敏感的正式流片版本那還是要回到 RTL 手寫(xiě)。HLS 在控制細(xì)粒度時(shí)序和跨時(shí)鐘域時(shí)相對(duì)吃力調(diào)試波形也不如 RTL 直觀。我的經(jīng)驗(yàn)是先用 HLS 驗(yàn)證架構(gòu)可行性再針對(duì)關(guān)鍵模塊重寫(xiě) RTL。因?yàn)閮?nèi)容安全問(wèn)題很多結(jié)構(gòu)我也講不了太細(xì)但有一點(diǎn)是確定的工程里結(jié)合兩條路線的結(jié)果比單純選一條路要快很多。3.2 數(shù)據(jù)搬運(yùn)與片上存儲(chǔ)分配雙緩沖和帶寬計(jì)算存儲(chǔ)系統(tǒng)設(shè)計(jì)是整個(gè)加速器里“看不見(jiàn)但最重要”的部分。片上存儲(chǔ)SRAM/BRAM/URAM的大小直接決定了數(shù)據(jù)復(fù)用長(zhǎng)度而外部存儲(chǔ)帶寬決定了整個(gè)系統(tǒng)能不能跑滿算力。以一個(gè)具體參數(shù)計(jì)算為例。假設(shè)我們要設(shè)計(jì)一個(gè)能跑到 100 GOPS 的 INT8 加速器也就是每秒需要 100G 個(gè)乘法累加。工作頻率 250MHz 的話每個(gè)周期需要完成 400 次 MAC。如果乘法陣列采用 16x16 的形狀每個(gè)周期剛好 256 次 MAC接近目標(biāo)。此時(shí)數(shù)據(jù)帶寬要求是多少每個(gè)周期從外部讀入兩個(gè) INT8 操作數(shù)輸入和權(quán)重就是 256*2 512B/周期。250MHz 下外部帶寬需要 512 * 250M 128GB/s。這個(gè)帶寬遠(yuǎn)超過(guò)普通 DDR 的能力。所以真正的設(shè)計(jì)思路是內(nèi)部數(shù)據(jù)復(fù)用。以 3x3 卷積為例同一輸入像素會(huì)被多個(gè)輸出通道重復(fù)使用 16 次權(quán)重則被多個(gè)空間位置重復(fù)使用多次。合理的數(shù)據(jù)流能把相對(duì)最大帶寬降低一個(gè)數(shù)量級(jí)引入多級(jí)緩沖。輸入通道先整批搬到片上片上的 buffer 可以是幾十到幾百 KB做完全部輸出通道的 MAC再丟棄。雙緩沖ping-pong buffer幾乎是標(biāo)配方法。原理很簡(jiǎn)單外部 DMA 正在往 buffer A 搬運(yùn)下一塊數(shù)據(jù)時(shí)計(jì)算單元正在從 buffer B 讀取當(dāng)前塊做計(jì)算。這樣搬運(yùn)和計(jì)算可以完全重疊系統(tǒng)吞吐率理論上能做到“搬運(yùn)時(shí)間和計(jì)算時(shí)間最大值”而不是兩者之和。我在“模擬項(xiàng)目 X”里測(cè)過(guò)一個(gè)極端的 case不做雙緩沖時(shí)計(jì)算單元有超過(guò) 60% 的時(shí)間在空轉(zhuǎn)加上雙緩沖后利用率直接拉到 92% 以上。這個(gè)提升純粹是存儲(chǔ)調(diào)度帶來(lái)的不需要增加任何 MAC 單元。注意片上 SRAM 的容量規(guī)劃要留足余量因?yàn)榈刂穼?duì)齊、padding 等問(wèn)題經(jīng)常會(huì)讓實(shí)際占用比理論值高出 20% 左右。我習(xí)慣在規(guī)劃階段就按理論值的 1.3 倍來(lái)估算省得后期挪布局。3.3 系統(tǒng)集成與板級(jí)驗(yàn)證從裸循環(huán)到完整鏈路模塊仿真做完了并不代表板子就能跑。真正進(jìn)入系統(tǒng)集成階段后你會(huì)遇到一系列“局部正確但整體掛了”的問(wèn)題。系統(tǒng)集成要考慮的組件包括DMA 引擎、片間互聯(lián)AXI 總線、中斷控制器、驅(qū)動(dòng)程序和應(yīng)用層接口。我通常把集成過(guò)程拆成三個(gè)階段。第一個(gè)階段是裸機(jī)驗(yàn)證。先用片上 SRAM 作為輸入直接通過(guò) JTAG 寫(xiě)入一些已知的特征圖數(shù)據(jù)跑完計(jì)算以后把結(jié)果直接讀到主機(jī)端做比對(duì)。這一步速度快任何問(wèn)題都容易定位因?yàn)樗@過(guò)了一切總線協(xié)議問(wèn)題。第二個(gè)階段是加入 DMA。把輸入輸出都放到 DDR 內(nèi)存里由主機(jī)端安排內(nèi)存地址然后觸發(fā)卸載offload任務(wù)。這一步最常踩的坑是指針地址沒(méi)有按 64B 對(duì)齊或者 burst 長(zhǎng)度設(shè)置超過(guò)了總線一次傳輸?shù)淖畲笾怠MA 傳輸一旦出現(xiàn) burst 邊界錯(cuò)誤數(shù)據(jù)就會(huì)靜默錯(cuò)位最后表現(xiàn)出來(lái)就是模型輸出全亂。第三個(gè)階段才是跑真實(shí)模型。這時(shí)要接上運(yùn)行時(shí)runtime軟件框架把權(quán)重文件按照加速器需要的 padding 和重排規(guī)則預(yù)處理好。很多模型跑不起來(lái)的真正原因不是硬件算力不夠而是權(quán)重格式和運(yùn)行時(shí)接口不匹配。板級(jí)驗(yàn)證時(shí)的經(jīng)典順序是先看中斷有沒(méi)有來(lái)再看 DMA 傳輸長(zhǎng)度對(duì)不對(duì)再看輸出緩沖區(qū)數(shù)據(jù)是不是帶上了垃圾數(shù)據(jù)。按這個(gè)順序排查能解決大部分集成階段的問(wèn)題。4. 調(diào)試與優(yōu)化實(shí)錄三個(gè)必踩的坑和一個(gè)速查表4.1 時(shí)序收斂為什么頻率上不去任何硬件設(shè)計(jì)做到最后時(shí)序收斂都是最熬人的環(huán)節(jié)。最常見(jiàn)的現(xiàn)象是綜合報(bào)告一跑最高頻率只有目標(biāo) 60%一大片關(guān)鍵路徑布滿在乘法陣列的加法樹(shù)上。關(guān)鍵字有三類組合邏輯太深通常是因?yàn)樵谝粋€(gè)周期內(nèi)做了 16 個(gè) 8 位乘法然后立刻加 64 個(gè)數(shù)。解決辦法是手工插入流水寄存器把加法樹(shù)切成多級(jí)。比如 64 個(gè)數(shù)的累加拆成兩級(jí)加法每級(jí) 32 個(gè)輸入這樣單周期組合路徑能縮短一半。扇出過(guò)高一個(gè)控制信號(hào)同時(shí)驅(qū)動(dòng)幾百個(gè)加法單元導(dǎo)致布線延遲過(guò)大。解決辦法是邏輯復(fù)制把同一個(gè)控制信號(hào)做成多份分區(qū)驅(qū)動(dòng)??鐣r(shí)鐘域如果加速器核心跑 250MHz而接口控制器跑 125MHz就必須用異步 FIFO 過(guò)渡不能直接采數(shù)。這里最容易踩坑的是 FIFO 的空滿信號(hào)判斷多打了幾拍導(dǎo)致數(shù)據(jù)多讀了一次或者漏讀了一次。我在調(diào)一個(gè)卷積陣列時(shí)花了兩周才把 200MHz 提到 250MHz最后改的僅僅是部分和更新各級(jí)的流水寄存器的插入位置。運(yùn)行頻率提不上去指令再怎么優(yōu)化都沒(méi)用所以時(shí)序這事值得花時(shí)間認(rèn)真做。心得時(shí)序優(yōu)化的正確順序是“架構(gòu)性的優(yōu)化 - 流水線插入 - RTL 微調(diào) - 布局約束”。不要一上來(lái)就改幾千行 RTL而是先畫(huà)出關(guān)鍵路徑的數(shù)據(jù)流圖看加法樹(shù)是否能折疊看是否可以把某個(gè)乘法器拆分到多個(gè)周期里做。大部分問(wèn)題出在架構(gòu)而不是語(yǔ)法。4.2 數(shù)據(jù)位寬與溢出問(wèn)題INT8 乘積的危險(xiǎn)區(qū)域只要你做了 INT8 定點(diǎn)化就必然要與溢出問(wèn)題正面遭遇。我前面已經(jīng)提到累加器要用 INT32但實(shí)際中還有幾個(gè)更隱蔽的地方。一是權(quán)重量化后的特殊值。如果某個(gè)權(quán)重用了對(duì)稱量化但 0 和 -128 都被映射成不可表達(dá)的值那么計(jì)算部分和時(shí)會(huì)出現(xiàn)極大值。特別是在殘差結(jié)構(gòu)的短路徑中結(jié)果直接被送給下一層時(shí)一旦值域超出下一層的量化范圍就會(huì)發(fā)生飽和截?cái)?。這類誤差不是單層能看出來(lái)的它會(huì)順著殘差逐層累積到最后的輸出就是幾個(gè)關(guān)鍵類別分?jǐn)?shù)全亂了。二是乘法陣列內(nèi)部如果用了截?cái)鄑runcation而不是四舍五入round部分和的誤差也會(huì)被放大。我做過(guò)一個(gè)對(duì)比實(shí)驗(yàn)累加結(jié)果不采四舍五入直接截?cái)嗄P偷?Top-1 精度下降 0.4%改成四舍五入后完全恢復(fù)。這個(gè)細(xì)節(jié)很多人會(huì)在一開(kāi)始忽略。三是非線性激活函數(shù)的實(shí)現(xiàn)。ReLU 的硬件實(shí)現(xiàn)既可以是 clamp 到 0 再飽和也可以直接做符號(hào)位判斷。如果檢測(cè)到負(fù)數(shù)時(shí)沒(méi)有正確飽和到 0累積誤差也會(huì)越來(lái)越大。排查這類問(wèn)題的方法也很簡(jiǎn)單把硬件輸出保存成文本在主機(jī)端用 Python 模擬同一位寬的定點(diǎn)數(shù)運(yùn)算逐層對(duì)比部分和的差異。一旦定位到誤差開(kāi)始出現(xiàn)的那一層就檢查該層的近似實(shí)現(xiàn)。4.3 模型精度下降量化后掉三個(gè)點(diǎn)的攻堅(jiān)記錄有一次我們把一個(gè)檢測(cè)模型從 FP32 切到 INT8測(cè)試精度掉了 3.1 個(gè)點(diǎn)。按經(jīng)驗(yàn)這個(gè)幅度已經(jīng)算比較大了于是開(kāi)始逐層排查。首先檢查的是校準(zhǔn)集。原來(lái)的校準(zhǔn)集里都是室內(nèi)圖像數(shù)據(jù)但實(shí)際部署場(chǎng)景有一半是室外逆光的圖像。激活值分布在暗光區(qū)域沒(méi)有校準(zhǔn)到于是量化 scale 整體偏差。換了一套混合場(chǎng)景的校準(zhǔn)集后精度損失降到 1.8%。接下來(lái)看 BNBatchNorm融合問(wèn)題。很多框架導(dǎo)出的模型里還帶 BN 層BN 在推理階段可以完全融合到卷積權(quán)重里省掉一整層的計(jì)算。但如果融合操作做晚了量化后的 BN 計(jì)算會(huì)引入一個(gè)額外的大數(shù)量級(jí)乘法嚴(yán)重拉大數(shù)值誤差。把 BN 融入到卷積再做量化精度損失又降了 0.5%。最后發(fā)現(xiàn)某一層殘差分支的輸出值域特別大用 INT8 表述后精度損失的方差都集中在這里。把那層提升為 INT16再跑一遍最終精度損失降到 0.6% 以內(nèi)。這個(gè)問(wèn)題給我一個(gè)很深的感觸逐層掃描配合統(tǒng)計(jì)信息比“全局調(diào)一調(diào) scale 再試一次”要高效得多。硬件加速器的精度問(wèn)題通常都不是一個(gè)玄學(xué)而是某幾個(gè)敏感層的具體問(wèn)題。4.4 常見(jiàn)問(wèn)題速查表先把調(diào)試現(xiàn)場(chǎng)整理成表格方便以后遇到問(wèn)題時(shí)直接查現(xiàn)象可能原因排查順序解決辦法板卡輸出全為 0DMA 沒(méi)觸發(fā)或地址對(duì)齊錯(cuò)先查中斷再查 DMA 描述符檢查地址對(duì)齊和 burst 長(zhǎng)度配置模型輸出隨機(jī)錯(cuò)亂數(shù)據(jù)位寬截?cái)嗷蛄炕绯鰧?duì)比單層定制結(jié)果用四舍五入累加查 INT32 累加器寬度推理速度不達(dá)預(yù)期計(jì)算和搬運(yùn)沒(méi)有重疊看仿真波形中計(jì)算單元的 busy 信號(hào)增加雙緩沖和 DMA 下發(fā)預(yù)取板級(jí)偶發(fā)抖動(dòng)跨時(shí)鐘域沒(méi)做同步抓不定態(tài)波形加異步 FIFO多拍同步后采樣頻率跑不上去組合邏輯過(guò)深或扇出過(guò)高分析關(guān)鍵路徑插入流水寄存器、復(fù)制控制信號(hào)量化后精度驟降校準(zhǔn)集分布不符統(tǒng)計(jì)每層激活值范圍換校準(zhǔn)集、對(duì)敏感層做混合精度這張表基本覆蓋了常見(jiàn)的軟硬件協(xié)同問(wèn)題。每次做完一塊加速器我都會(huì)把它更新一次項(xiàng)目做得越多排查速度就越快。最后再分享一點(diǎn)個(gè)人體會(huì)如果說(shuō)整個(gè)設(shè)計(jì)流程里有什么最反直覺(jué)的經(jīng)驗(yàn)?zāi)蔷褪钦嬲龥Q定一個(gè)推理加速器能否落地的往往不是那套 16x16 的乘法陣列而是外圍的存儲(chǔ)調(diào)度、DMA 設(shè)計(jì)和時(shí)序收斂處理。我見(jiàn)過(guò)有人在陣列面積上摳了一個(gè)月結(jié)果因?yàn)榫彺娣峙洳缓侠韺?dǎo)致利用率只有一半。反過(guò)來(lái)把數(shù)據(jù)流設(shè)計(jì)得足夠穩(wěn)系統(tǒng)級(jí)的收益經(jīng)常比單點(diǎn)算力翻倍還高。另外調(diào)試過(guò)程里最實(shí)在的小技巧是保存一份“軟件浮點(diǎn)中間結(jié)果綁定到硬件內(nèi)部節(jié)點(diǎn)”的測(cè)試環(huán)境。就是說(shuō)在硬件仿真階段就把每一層的期望值提前算好然后設(shè)計(jì) RTL 測(cè)試時(shí)直接比對(duì)中間信號(hào)。這樣任何一層出了問(wèn)題能立刻定位是計(jì)算問(wèn)題、數(shù)據(jù)搬運(yùn)問(wèn)題還是量化問(wèn)題。很多項(xiàng)目因?yàn)槿鄙龠@種閉環(huán)調(diào)試手段最后都陷入“調(diào)一個(gè)參數(shù)、看一個(gè)現(xiàn)象、再猜下一個(gè)原因”的泥潭。這塊內(nèi)容的擴(kuò)展方向其實(shí)也很多比如低比特量化、稀疏化加速、存內(nèi)計(jì)算甚至多卡互聯(lián)上的推理調(diào)度。每個(gè)方向都是一個(gè)不小的坑但基礎(chǔ)的數(shù)據(jù)流和硬件設(shè)計(jì)思路完全一致。希望這篇文章能幫你在起步階段少幾次重寫(xiě) RTL 的沖動(dòng)多跑通幾個(gè)真正能用的板卡。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久只有18视频| 全亚洲最大的婷婷五月天网站COM| PORNY九色9l自拍视频成人| 人人干女人| 99啪啪网| 热的国产,热的综合,热的有码 | 久久天堂| yazhou seshipin| 中文字幕欧美日韩VA免费视频| 热久久思思热思思| 久久精品日| 大香蕉天堂| 丁香六月开心| 伊人超碰在线| 五月天色丁香| 丁香五月色欲| 五月婷婷六月丁香免费| 久草五月丁香婷婷综合| 中文字幕成人| 伊人深爱综合| 爱射综合| 久久综合图片| 五月综合激情网| 婷婷丁香视频| 91肏| 亚洲熟妇AV乱码在线观看| 国语精品探花| 日韩婷婷五月| 婷婷香蕉视频| 久99热| 婷婷亚洲丁香五月| 天天做天天爽| www.伊人天堂偷偷婷婷| 日韩精品超碰在线观看| AV中文网| 99欧美| 无码婷婷五月天| 日韩在线一级| www久久久久久久久久久| 国内外色色色色色成人视频| 色五月婷婷在线视频| 婷综合六月| 夜夜骑夜夜撸| 久久久久这里只有精品| 丁香五月大片| 中文字幕av久久爽一区| 99久久婷婷综合| 香蕉国产2013| 丁香婷婷婷五月| 激情五月天色网站| 婷婷五月天综合久久日美女| 五月婷婷丁香| 天天爱天天做天天日| 色色欧美色色色| 丁香激情五月| 婷婷五月天香蕉| 久久曰曰| 国产免费av在线| 色综合色综合网| 丁香五月色欲| 天天婷婷天天| 超碰久热| 九九偷拍网| 99久久综合| 几激情五月婷婷色五月色天堂| 激情五月激情综合俺也去婷婷小说| 国产黄色大片| 国产精品18久久久| 能直接看的av网站| 日韩淑女人妻luan伦激情精品一区二 | 色性日本| 五月情综合| 六月丁香中文字幕| 91干在线视频| 五月天操逼激情| 天天看A片| 人人干AV| 国产va在线视频| 久婷婷五月综合欧美| 97超碰免费超级在线观看| 九九热自拍| 天天做天天爱天天玩夜夜爽| 99小精品| 九九这里只有精品在线视频| 91九色大屁股| 大香蕉九操| 五月天婷婷永久免费视频| 成人做爰A片免费看网站找不到了| 日韩性爱无码| 婷婷九月久久| 天天激情站| 婷婷六月丁| 天天操天天干天天日| 伊人日日干| 天天综合网、天天综合色| 色婷婷影音| 黄网在线免费观| 久久久人妻| 91AV婷婷| 成人网站免费在线播放| 色色日本欧美| 日本爆乳片手机在线播放| 婷婷五月六月丁香综合| 大香蕉院线| 99这里只有免费的精品| 激情综合青草| 99re在线观看视频| 精品九九在线观看| 激情99。| 激情精品久久| 亚洲天天免费| 99热国产在| 狠狠干综合| 铁牛TV人妻| 狠狠久久婷| 五月天婷婷社区| 亚洲精品五月| 99re这里只有精品在线观看| 中文字幕性爱丰满| 五月丁香啪啪综合网| www.99热国产| 日日爽日日操| 五月婷婷之六月丁香| 26uuu淫色| 99re热精品在线视频| 欧美日本黄色| 久9免费视频| 超碰在线资源| 强奸幻女毛片| 久热久操久热久草国产91| 欧美婷婷综合| 97碰碰在线观看视频| 日韩成人电影Av| cao视频,现在观看| 久99久99精品免| 激情婷婷22月间| 99日热在线视频| 伊人久久婷婷五月综合97色| 五月四色激情| 久久伊人婷| 日本少妇AA一级特黄大片| 91av视频| 嫩草视频观看| 超碰成人免费| 天天做天天爱天天爽在| 玖玖@三月天天丁香婷婷| 久九男女天堂| 可以看的AV| 亚洲欧美成人在线| eeuus五月婷| 综合狠狠干| 67194中文在线| 永久的网站AAAA| 日本爆乳片手机在线播放| 色综合99无码| 99热在线免费| 五月开心啪啪| 久色大| 大操人妻| 色婷婷狠狠干芒果TV| 99这里只有精品|v| se色99| 人妻av在线| 五月天三级久久| 激情六月一二| 碰碰碰91| 99在线69| 激情五月天啪啪视频| 色综合久久五月天| 久久精品婷婷五月丁香| 久久婷综合| 成人av播放| 天天综合久久| 国产激情久久| 色五月激情五月| 色婷婷丁香五月天在线视频| 这里只精品| www.91九色| 超碰在线个人观看| www.激情| 深爱婷婷基地| 久色国产| 婷婷五月色天| 五月婷婷色| 一起草av| 蜜臀99久久精品久久久久| 92国产福利| 丁香色五月婷婷17C| 精品久久人妻热| 五月激情综合深爱| 婷婷情色五月天| 99久在线精品99re8热| 激情五月婷婷网在线观看| 激情五月婷| 色女人久久| 天天操婷婷| 伊人久久婷婷| 91人妻九色大屁股| 丁香激情网| 99r久久这里只有精品| 丁香激情婷婷网| 月婷婷婷婷五月| 五月激情久久| dingxiangtingtingliuyue| 婷婷丁香18| 99热这里只有精品13| 精品一二三区久久AAA片 | 狠狠操狠狠操AV| 欧美VA视频| 操逼六区| 国产va在线视频| 亚洲V国产V欧美V久久久久久 | 人人操婷婷| 六月合五月婷| 久婷婷| 97色色视频| 玖玖无码中文| 69凹凸成人综合网| 久碰婷婷视频| 色婷婷成人做爰A片免费看网站| 一区无码| 激情五月综合视频| 女人天堂AV| 无码色| 久久久五月天网站| 99热精在线九九久久保| 极品另类| 日韩av手机在线观看| 欧美日韩国产一区| A久网| 色噜噜狠狠色综无码久久合欧美| 久色88| 凹凸探花电影| 色婷婷AAA| 婷婷五月六月丁香| 久久久久9| 久久在线视频免费观看| 欧美激情五月天| 色综合色色色色| 亚洲视频1区| 天天干夜夜谢| 色五月丁香一区在线| 4438激情网| 丁香五月香蕉在线| 99热最新| 手机旧版看人妻1025| 蜜桃婷婷丁香综合久久开心亚洲| 久草婷婷在线| www.久久爱.com| 五月婷婷熟女| 丁香五月性爱| 視频福利乱色| 婷婷六月丁香五月图区| 精品人妻久久久久久| 日韩十国产极品久久| 激情综合色| 五月婷婷色色色| 亚洲AV成人一区二区在线观看| 欧美性二区| 激情五月婷婷丁香| 欧美A片在线视频免费观看| 婷婷在线播放av| 五月丁香成人小说| 99re视频在线精品| 五月丁香综合久久| www色色com| 色99婷婷五月天| 夜夜夜叫天天天做| av国产精品| 超碰91在线| 99色热视频在线| 六月婷婷综合| 日亚二欧美| 久久成人综合五月天| 激情综合五月丁香| 九九热视频在线观看| 久久久婷| 日韩操逼大片| 五月天综合在线| 99网址在线看| 日韩av网站在线观看| 久青草大香蕉| 亚洲av网站在线观看| 日本久久性| 97碰碰在线观看视频| 玩熟女五十AV一二三区| 婷婷色五月天在线观看| 婷婷精品在线| 久久新地址| 免费在线观看欧美激情xx小视频| 激情五月丁香激情综合网| 99久久综合| www.91婷婷| 9999综合99综合人| www.lchjjc.com| 看黄的网站18禁| 激情av| 97在线/亚洲| 97五月久久丁香婷婷| 狠狠色丁香婷婷| 综合激情深爱| www.91AV.com| 99热都是精品| 青青艹b| 狠狠色五月| 九九9久九9国产视频| 五月丁香视频在线观看| 97在线观视频免费观看| 欧美97p| 久久99热网| 人妻五月天激情开心网| 播丁香五月婷婷欧美| 热五月婷婷| 五月婷婷丁香狠狠撸久久| www.色婷婷.com| 五月天婷婷色紫薇阁| 九色PORNY自拍成人精彩视频| 色婷婷色综合激情91| 色一情一乱一乱一区9| 无码免费人妻A片AAA毛片西瓜| www.久久色.com| 97色色婷婷| 婷婷五月丁香综合激情小说| 另类小说色婷婷| 天天肏视频| 午夜丁香综合婷婷| 大香蕉啪啪啪| 婷婷五月天深爱| 九九精品片一| 99色最新在线视频网站| 五月丁香色婷婷色| 五月天婷婷综合| 九九九九九九热| 天天综合天天玩夜夜玩天天玩夜夜玩 | 蜜臀av粉嫩av懂色av| 五月婷婷深深爱| 五月丁香婷婷色色色| 超碰在线人人| 99热都是精品| BBWCUCKOLD精品熟妇| 婷婷激情五月综合基地| 99婷婷综合| 婷婷99狠狠躁| 99精彩视频| 五月婷婷六月丁香综合视频在线| 影音先锋男人AV资源站| 操日视频| 九九热这里只有精品7| 丁香五月欧美| www.五月天婷婷.com| 六月婷婷天天操夜夜爽视频| 亚洲精品无码一区二区| 99精色| 五月丁香亭亭AV女优| 婷婷五月丁香A∨| 亚洲成人无码网站| 五月婷婷色播网| 婷婷六月花| 色播综合| 色五月xxx| 久久色婷婷| 在线超碰91| 婷婷草| 久久综合99综合| 99啪啪| 激情五月深爱五月| 思思热在线视频精品| 97人人操人人干| 大香蕉网 久久| 色狠狠色综合久久久绯色AⅤ影视 大香蕉五月天婷婷丁香91 | 亚洲AV成人一区二区在线观看| 久久九九玖玖| 五月丁香激情四射| 日本成人噜噜噜噜噜| 成人片在线免费看| 99ri视频| 高清无码入口| 五月婷婷伦理| 四射综合网| 婷婷五月丁香五月| 婷婷五月花西瓜| 1024手机在线观看看片_日韩精品| 91狠狠色丁香婷婷综合久久精品| 日婷婷久久开心| 91九色首页| 婷婷色五月91啪啪| 日韩欧美颜射| 99视频网| 天天日日人| 我想看国产大学生口爆吞精的视频| 欧美va国产va| 久久婷婷五月天激情四射| 亚洲综合丁香五月天| 五月狠狠| 成人在线观看精品| 色色色热| 婷婷成人在线| 色五月激情婷婷| 亚洲热视频在线| 丁香五月停停av| 日日撸夜夜操| 色色综合网站| 婷婷丁香91综合| 久机视频这只有精品| 久久91久久91色欲精品| 国产人妻777人伦精品HD| 九月av在线| 99综合一区| 五月激情综合网| 丁香五月天在线观看视频| 五月天综合久久| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 亚卅毛片| 五月丁香婷婷潮喷中文字幕| 久久色五月| 色五月婷婷激情基地| 粉嫩AV久久一区二区三区| 超碰成人av| 热的无码综合视频| 五月天激情综合首页| 欧美亚洲成人在线| 大香蕉在九| 色综合色综合网| 色五月六月| 婷婷五月情色| 97人人操人人干| 五月丁香婷婷99| 99热国品| 精品福利911| 久热久| 99热思思在线观看| 五月丁香婷草| 91九九热| 第四色婷婷最爱| 丁香婷婷啪啪| 99色在线视频观看| BBWCUCKOLD精品熟妇| 久久人人九九| 婷婷四色五月| 激情美女五月天| 婷婷五月丁香激情图片 | 丁香青青五月天| 丁香婷婷五月天激情四射| 99九九免费精品| 91午夜激情| 97操碰人人| AV操逼网| 亚洲亚洲激情| 97超碰色| 六月色色| 亚洲综合干| 国模狼狼| 99视频精品在线| 丁香五月天之婷婷影院| 天天做天天爱天天要| 国产一区男女| 国产综合激情五月久久| 丁香 婷婷五月| 天天综合情| 色碰碰| 五月狠狠| 99九九99九九九视频精品| 久久久av久av久片一区二区| 午夜天堂一区人妻| 可以看的av| 婷婷五月天久久久| 开心激情网在线| 狠狠色婷婷777| 人人操人人干AV| 99re6久热只有精品6在线直播| 激情六月婷| 97韩国久久电影院| AV伊人青草丁香六月| 色区久久| 日韩成人网站精品久久大全| 色五月激情综合网| 九色PORNY自拍成人精彩视频| 日韩成人AV在线播放 | 色婷婷狠狠18禁| 五月天婷婷色播在线网| 丁香五月网址| 天天操夜夜操| www,色婷婷| 久久9精品| 最新av在线观看| 天天肏高清在线| 丁香五月激情五月| 91热视频色网站| 久热a| 99丝袜精品视频网站| www.久久| 天天狠狠夜夜狠狠2023| 人妻系列久久久久久久久久久| 日韩欧美婷婷丁| 五月丁香婷婷久久| 超碰熟女拍拍| 五月丁香啪啪激情| 丁香五月首页| …亚洲黄色在线播放日韩、av中文a…| 狠狠色狠狠色综合日日91| 另类图片五月天激情| 色欲久久99精品久久久久久| 欧亚中文A V| 日笨久久网| se99热久久一本| 色婷天天| 激情美女五月天| 婷婷色香六月综合激情| 五月婷伊人| 激情五月天小说视频| 五月天影院| 色噜噜五月天| 婷婷五月天综合网| 99色在线| 999热这里只有美国精品| 五月婷综合| 天天综合色丁香| 亚洲午夜av| 在线观看免费视频| 婷婷五月综合社区| 26uuu国产| 欧亚成人A片一区二区| 99热这里是精品| 久久久久久五月天| 丁香 久久| 成人综合网站| 国产人妻人伦精品一区二区| 色婷婷六月| 亚洲五月六丁香激情| 欧洲精品欧洲情| 婷婷六月丁| 少妇综合网| 色综合久久88色综合天天| 久久久婷婷五月亚洲97号色| 丁香五月大香蕉在线99| 天天射天天插天天干| 激情综合五月| www.丁香五月| 激情六月天| 久热婷婷| 五月天激情久久| 久久婷婷亚洲| 天堂A∨在线| 日本视频99| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 色五月婷婷操逼| 99热婷婷| 99综合97| 99操中文视频| 五月丁香色婷婷基地| 五月六月伦理| 天天日天天爽| 日本一区二区三区精品视频| 婷婷五月色情天| 俺也去综合| 日韩在线观看亚洲| 国产亚洲精品久久久久苍井松| 丁香深五月婷婷| 99热碰碰热| 很操日本7| 九九性爱网| 久久精品99国产精品日本| 性爱五月婷| 99色婷婷视频| 亚洲操操操| 9久精品视频| 九九热在线精品| 日日爽日日| 九一娱乐在线观看视频| 玖玖无码中文| 操逼棍操逼| 亚洲成人网在线观看| 日韩人妻白浆视频系列| 久久人操| 亚州色色色| 五月丁香色婷婷熟女| 色五月婷婷操逼| 亚洲亚洲人成综合网络| 五月丁香福利| 操日挥操日日| 色婷婷导航| 亚洲AV成人无码电影| 国产阿姨日皮艹逼内射视频 | 99亚洲色| 婷婷久久五月天| 奇米网大香蕉| 人人做人人看人人摸| 亚洲另类电影| 精品一区二区三区三区| 色情五月天se| 久久99免费视屏| 色爱综合五月| 色色综合色视频| 狠狠操综合| 99热只有这里才是精品| 亚洲色啪| 色情丁香五月婷婷精品| 狠狠干综合网| 中文字幕丰满孑伦无码专区| 欧美日综合| 亚洲色网址| 五月色情| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 亚洲avjiujiur91| 色之综合网| 国产97色在线| 碰人人97| 99热最新网址| 国产精品电影| 婷婷五月情| 激情五月天婷婷在线网址发给我| 新激情婷婷| 亚美欧色影院| 色五月激情| 婷婷六月成人| 六月激情婷婷色| 久久综合激情| 玖玖综合玖玖| 99色最新在线视频网站| 国产做爰视频免费播放| 伊人五月婷婷| 天天精品视频免费观看| 五月婷中文字幕| 六月激情久久| 婷婷新网址| 五月婷婷婷婷婷婷艺术| 无码激情AAAAA片-区区| 99热免费精品热久久66| 亚洲精品亚洲人成人网| 婷婷欧美激情综合| 久久人人妻| 婷婷色狠狠| 99re这里只有精品首页| 亚洲国产精品二二三三区| 这里都是精品99| 九热视频| 激情久久五月天| 激情爱爱网站超大免费| 五月婷婷丁香六月| 国内外色色色色色成人视频| 97欧美在线| 男妓跪趴把舌头伸进我的嘴巴| 涩综合网| 婷婷五月天美女| 色色婷婷五月| 91精品久久久久久77777| www.婷婷五月天| 色色色色色五月丁香| 丁香五月成人网| 色99无码| 久久久久人妻| 亚洲成人超碰| 亚洲不卡欧洲| 色五月天堂| www.婷婷五月天.com| 91色综合网| 色婷婷六月天| 色六月婷婷| 成人av免费观看| 成人精品人妻| 色99视频| 99这里有精品视频3| 熟女激情五月天| 欧美色婷婷| 99热这里只有精品8| 性色欲情 网站| 久久婷婷伊人| 五月丁香六月婷婷综合网| 激情内射人妻1区2区3区| 婷婷四色五月| 九九久久偷拍| 99激情视频| 色娸娸综合网| 色五月激情五月| 51国精产品自偷自偷综合| 大地资源色婷婷视频在线| 一根材五月婷成人| 青青草a在线| 精品久热| 99热综合在线| 影音先锋xfplay资源男人网| 婷婷丁香六月五月天| caopeng97人人| 在线超碰精品| 99超级超级超级碰| 婷婷久久爱| 丁香五月天堂亚洲社区| 991自拍视频| 8050一级网| 老师的粉嫩小又紧水又多A片视频| 色99在线观看| 亚洲综合激情五月久久| 最近韩国日本免费高清观看| 欧洲第一无人区观看| 五月综合激情婷婷六月色窝| A片试看50分钟做受视频| 操碰97| 国产真人做爰视频免费| 伊人高清无码| 一起草日本| 无码一级片| 久久天堂| 天天开心天天色| 天天拍夜夜撸| anquye五月| 丁香五月婷久久| 丁香五月成人婷婷| 亚洲成人一区| 99热精品在线观看| 色啪久| 色月丁| 丁香色综合| 91操操| 婷婷色香六月综合激情| 色婷婷丁香五月天| 亚洲国产精品成人免费一区久久久在线观看AAAA | 丁香五月天在线| 色色激情五月| 激情综合啪啪啪| 91超级碰| 免费人人操| 六月婷婷在线视频| 日本一級黃色一級片| 五月丁香六月婷婷,婷| 99久在线精品99re8| 一本色道久久88加勒比—| 国产色色网址网站| 五月丁香六月婷婷免费| 五月天丁香啪啪综合| 久热无码| 久9久9久9久9久9久9| 五月天激情四射网站| 久操97| 久久天天| 六月丁香五月天| 色玖玖| 99热在线中出| 婷婷五月天成人网| 久久五月天激情| 中文av网站| 婷婷色综合中心站| 婷婷六月丁香在线| 激情六月婷婷| 亚洲深喉aV| 色婷婷免费观看| 婷婷深爱五月丁香网| 97五月综合网| 人人爱操| 《诡秘之主》在线观看| www色色色com| 南京搡BBBB搡BBBB| 中文字幕中文有码在线| 久久九九在线视频| 亚洲性爱AV| 婷婷五月天激情电影小说| 9热在线视频| 五月综合激情| 深爱五月天| 狠狠色丁香久久婷婷综合五月| 色五月婷婷五月久久| 九色自拍| 99视频在线啪| 久久五月丁香激情综合| 亚洲成人综合在线| 第四色网婷婷| 丁香美女主播视频在线观看| 国产亚洲99久久精品| 久99久热| 色99在线观看| 另类国产欧美视频| 九九久久五月天综合伊人| 丁香五月天电影| 日韩在线一级| 思思热在线精品视频| 丁香五月狠狠在线观看| 亚洲激情五月婷婷日日| 99热这里只有精品在线观看| 激情六月婷婷| 五月丁香大相交| 99少妇精品| 婷婷色狠狠| 五月停视频天堂| 狠狠擼综合| 久久婷婷热| 天天爽在线视频| 人人操AV| 五月丁香婷婷综合网| 午夜爱爱网站| 9l视频自拍9l九色9l成人| 五月丁香色六月激情干大屄| 一区二区三区四区无码| 超碰免费人人肏| 综合色色婷婷| 激情小说五月天社区丁香 | 丁香玖玖| 亚洲超碰在线| 少妇人妻综合色6699| 婷婷五月丁香色综合| 97操碰| 五月婷婷影视| 久热re在线视频| www久久久| 我爱va亚洲va52| 久久婷婷五月综合色丁香| 丁香花五月天激情| 青柠影视免费高清电视剧| 亚洲成人五月天| 97色干| 日韩欧美成人一区二区三区| 久久婷婷内射| 丁香六月AV| 97超级碰碰碰久久久| 日本三级日本三级99| 三级成人网站| 色偷偷色婷婷| 日本熟妇乱妇熟色A片蜜桃| 五月丁香六月婷婷网| 丁香婷婷人妻| 九九色婷婷| 色婷婷在线播放| 色色丁香| 这里只有精品视频国产| 91pornav在线| 九九伊人网| www.婷婷五月天.com| 狠狠狠狠狠狠| 天天干狠狠| 97视频久久| 乱精品一区字幕二区| 天天日天天日天天搞| 日韩视频女神99| 26uuu精品一区二区| 翔田千里无码| 成人在线高清| 色99在线| 丰满熟女人妻一区二区三| 黄色aa观看aaguochan| 婷婷99中文字幕| 色丁香综合影院| 色色色色色色五月婷婷| www.夜夜操.com| 婷婷五月天首页| 丁香婷婷六月天| 无码少妇高潮喷水A片免费| 成人开心五月天| 99久超碰| 日木WWW视频| 日韩精品999| 超碰renrenai| 久久久香| 色色9 9| 丁香五月天色婷婷| 九九精品在线观看视频6| 日韩久综合| 九九热精品| 99这里热| 精品人妻伦九区久久AAA片| 色色色综合网| 综合激情深爱| 五月婷久久| 精品婷婷| 九九综舍久久| 996黄色片| 国产69精品久久久久999小说| 99ri视频| 五月丁香综合在线| 亚洲一区二区无码蜜乳av| 噜噜噜噜婷婷五月天| 亚洲婷婷婷| 五月丁香天堂| 在线看片h站| 久久精彩视频| 五月丁香人妻| 五月激情网站| 久热网站| 亭亭五月激情亚洲在线| 欧美美女国产日韩一区二区久| 无码人妻电影| 日韩日比视频| 伊人大香蕉综合在线| 狠狠婷婷色| 亚洲妇女熟BBW| 色五月婷婷在线| 狠狠人人婷婷| 五月天 另类图片| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 五月天婷婷色色| 欧美网站视频4399| av电影在线播放| 九久9精品| 欧美日韩91| 婷婷亚洲综合| 成人色五婷婷| 婷婷五月天激情免费在线观看| 日韩激情人伦人| 秋霞三级影视资源| 高潮毛片遮挡费高一百度| 激情综合区| 国产成人综合电影| 久久精品A片777777| 久久9精品| 影音先锋一区| 综合色五月天| 婷色五月天| 五月天亚洲色| 996er热| 丁香五月播播| 东北婷婷五月天| 婷婷玉月丁香五月在线视频| 天天综合图片| 五月丁香色播| 九色色| 狠狠插日日干撸| 婷婷六月五月| 26UUU精品一区二区| 日日爽日日爽| 十一月婷婷激情四射| 日本天天操| 欧美五月婷婷| 国产精品久久久久9999小说| 久久婷婷影院| 俺去也五月| 国产人妻777人伦精品HD| 亚洲妇女熟BBW| 嫩草AV久久伊人妇女超级A| 天天综合精品| 亚洲乱码日产精品BD| 春色激情| 色综合播放| 日韩免费99| www. 五月. com| 玖玖婷婷色五月| 婷婷色五月丁香六月欧美啪| 久色视频在线| 五月综合婷婷开心网| 99热首页在线30| 无月播播激情在线观看视频| 99热6这里只有精品| 日本婷久久| 激情婷婷五月天| 亚洲精品又粗又大又爽A片| 亚洲AV成人精品网站在线播放| 丁香花五月天婷婷成人社区| www91久久| 五月天婷婷xxx| 激情六月五月婷婷综合网| 天干干夜夜操| 五月婷婷视频28| 色五月婷婷一二| 婷婷成人综合| 久久人人妻| 国产午夜精品一区二区三区四区| 色无婷婷| 婷婷亚洲久久| 狠狠色噜噜狠狠亚洲A∨| 97久久久久| 成人五月天在线观看| 亚洲性爱99| 综合色天天| 日韩爱操视频| 精品久久9| 这里有精品| 岛国av网站| 国产看真人毛片爱做A片| 欧美日本99| 五月丁香六月婷婷精品| 青青草六月丁香| 亚洲在线操| 影音先锋男人女人| 99热最新精品| av人人操| 99色性爰网络| 九九九九无码| 欧美综合丁香网| 日韩在线视频网站| 伊人婷婷99热精品| 九九日本视频| 五月激情网综合| 色婷婷五月综合| 日韩无码性爱| 丁香色播五月天| 色五月婷婷小说亚洲中文字幕组| 99热最新精品| 色天使久久综合| 综合天天综合| 九九热最新视频| 丁香啪啪| 色九网| 这里只有精品免费| 欧美色片中文字幕久久久久| 97丁香五月| 久久人妻高清中文| 五月天婷婷小说| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 毛片九九九九九九九九18| 99五月丁香丁| 色在线99| 欧美三级欧美一级| 99热在这里只有免费精品| ji'qi'luan'ren'lun| 天天艹夜夜艹| 俺去婷婷 丁香| 99色色热| 天天爱天天做天天操| 婷婷天堂综合| 免费超碰在线| 五月色欧美| 久久综合激情| 综合 蜜月 婷婷| 无码人妻一区二区三区四区| 婷婷伊人综合中文字幕| 97色综合| 激情婷婷五月天伊人在线观看| 五月婷婷综合网| 老师高潮流白浆喷水的A片| 五月综合久久| 丁香五月社区| 91在线资源| 天天干夜夜操A片| 9热视频在线观看| 91N 一起草| 五月婷婷六月丁香综合视频在线| 久久精典| www.99热精品99.com| 婷婷精品在线| 五月天激情四射| 铁牛TV人妻| 五月丁香婷婷激情视频| 99精品国产在热久久| 91九色视频| 天天爱天天爽| 久久久久久久久久久jjjj| 色综合久久五月| 色色色99| 欧美性交一区二区三区| 99视频在线观看欧| 色99视频| 玖玖综合色| 色色无码| 久久 中文 日本| 99热只有这里才是精品| 日产精品久久久久久久蜜臀| 丁香五月婷婷深爱综合激情| www.激情| 九九超日本| 99操逼| 97色五月婷婷在线| 蜜桃婷婷丁香五月天狠狠久久综合| 久久五月视频| 六月丁香色色色| 人人草人人看| 影音先锋五月天婷婷丁香在线观看| 亚洲婷婷六月天| 一点色成人网| 五月天婷婷三级黄| 久久综合激情| 伊人久久婷| 五月丁香精品| 玖玖婷婷精品| 五月天婷婷激情| 色综合狠狠色| 久久伊人五月天| 色开心五月丁香| 色七七色九九| 丁香五月天日韩无码| 3www激情| 97久久精品视频| 五月丁香婷庭在线| 久久婷婷五月丁香蜜桃网| 五月婷在线色视频| 99精品偷自拍| 另类丁香五月天区图| 日产精品久久久久久久蜜臀| 激情美女五月天| www.狠狠| 蜜乳A√| 性av| 欧美色色色| 爱婷婷久久视频| 日韩久久日| 一起草av| 熟女激情网| 成 久久| 久久无码激情视频| 久七香蕉| 亚洲亚洲人成综合网络| 色九九九九| 婷婷色网站| 丁香综合婷婷开心激情网| 综合婷| 日本美女97在线视频| 色婷婷97| 久久久精品人妻| 嫩BBB槡BBBB搡BBBB视频| www久久艹| 丁香五月97视频| 久久久婷婷五月天| 狠狠草在线观看| 国产.亚洲.欧洲视频在线| 五月丁香六月香综合激情| 丁香六月婷婷综情欧美| 婷婷成人在线| 五月丁香激情综合网官网| 夜夜爽77777妓女免费下载| 婷婷操久久| 丁香五月婷婷日本| 天天做天天爱综合| 99r久久这里只有精品| 日韩啪啪视频| 色5月婷婷色| www.九九婷婷| 五月丁香婷婷伊人日韩| 欧美大片免费观看| 狠狠干在线| 中文激情网| 一区二区成人电影| 色五月亚洲| 五月天全国最大成人网| 日韩九九视频| www.久久久久久| 亚洲 欧洲 国产 伦综合| 99视频日韩| 久草热8精品视频在线观看 | 丁香五月成人社区| 99亚洲日韩| 九九热在线99| 欧美这里只有精品| 5月婷婷五月天| 天天色官网| 精品无码99| 亚洲久久婷婷| 天天色综合网1| 日本熟女内射| 小视频一区 | 久久视频这里都是精品| 大香蕉九九| 久久综合丁香五月| 五月丁香六月婷婷,婷| 99热九九这里只有精品| 色色色激情| 久久99热这里只有精品23| 五月激情丁香五月| 婷婷五月综合色中文字幕| 热久久思思热思思| 丁香五月婷婷亚洲人| 久久亚洲婷婷| 狠狠色婷婷7| 六月婷婷日| 精品综合五月| 久久久精品色| 综合网啪| 色婷婷a v| 日日夜夜干| 免费无码毛片一区二区A片| www久久久久久久久久久久久久久久久| 日本一级黄色片。| 人妻熟妇国产精品| 人妻VideOssS人妻| 色五月婷婷久久大| 夜夜骑天天操| 丁香大香蕉| 色播综合| 国产偷人爽久久久久久老妇APP| 激情五月婷婷色综合| 99碰| 亚洲色久| 狠狠五月激情婷婷直播片| 99这里| 婷婷五月情| 99精品视频在线观看| 4399精品一区二区| 欧洲不卡视频| 噜综合| 久久久久久久合一狠狠做深爱| 五月丁香欧美综合| 亚洲亚洲人成综合网络| 激情综合网婷婷五夜| 狼人婷婷综合| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 五月色婷婷综合丁香精品无遮挡| 亚洲成人噜噜| 蜜桃人妻无码AV天堂三区| 五月天婷婷影院| 色播激情| 超碰免费在线| 久久性爱网站| 日本啪啪网| 国产乱人偷精品人妻A片| 国产亚洲网站在线| 五月噜噜噜色综合| 五月的色婷婷高潮| 99色色网| 99婷婷色| 九九九九九无码| 日本久久人| 性做爰A片免费视频A片直播| 香蕉中文在线| 国产精品五月丁香| 婷婷操久久| 欧美A级成人婬片免费看理论| 色综合香蕉| 5月婷婷激情6月| 97香蕉碰碰人妻国产欧美| 激情五月婷婷综合| 97超碰在线免费观看| 天天久久综合| 久久机热/这里只有精品| 草草色情综合网| 热的国产99热| 五月丁香狠狠爱婷婷综合| www.99热日韩.com| 五月婷六月| 四川女人毛多水多A片| 中文字幕在线日亚州9| 久久精品性爱| 日日影院 | 爱射综合| 无码动漫av| AⅤ在线播放网| 婷婷欧美色| 成人国产综合| 亚洲AV无码成人精品区电影网| 色婷婷色久综| 婷婷五月天成人网| 97久人人| 婷婷五月天在线视频网站| 偷拍九九热| 久久婷婷成人视频| 久久久8| 丁香婷婷超碰 | 少妇激情五月婷婷| 久久97| 九色91视频| 丁香六月婷婷久久综合| 五月天操逼激情| 天天做天天双| 99精品在线| 天天色综合天天| www.婷婷,com| 亚洲一级AV在线免费播放| 天天摸色吧天天摸色吧| 亚洲99精品九九在线| 综合综合色色| 深爱综合网| 97人人射| 色墦五月丁香| 99热观看| 99免费| 五月天婷婷激情四射综合| 激情五月,深深爱五月| 青青草青青草五月天| 这里只精品| 天天操天天插| 九九热只有这里是精品| 亚洲精品99| 思思色播| 日本99热| 呦呦v线| 4399无码视频二区| 色综合五月婷婷狠狠干| 国产午夜成人AV在线播放| 色欲丁香久久| 激情色五月天| 色五月在线观看| www99xxxx五月丁| 思思热在线观看|