欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

NPU是什么?從體系結(jié)構(gòu)視角看懂AI芯片的領(lǐng)域?qū)S眉軜?gòu)

NPU是什么?從體系結(jié)構(gòu)視角看懂AI芯片的領(lǐng)域?qū)S眉軜?gòu) 你是不是也遇到過(guò)這種時(shí)刻抱著《計(jì)算機(jī)體系結(jié)構(gòu)》啃完了流水線、緩存、虛擬內(nèi)存覺(jué)得自己總算摸清了計(jì)算機(jī)的底細(xì)結(jié)果一翻手機(jī)芯片的規(guī)格表CPU、GPU、NPU三個(gè)詞并排躺著你發(fā)現(xiàn)除了CPU剩下倆只能算“認(rèn)識(shí)字”。尤其NPU課本里幾乎沒(méi)有但現(xiàn)在的手機(jī)、服務(wù)器、汽車芯片里全在提。這東西到底是啥它憑什么能在AI時(shí)代和CPU平起平坐這篇就聊聊NPU盡量不帶廢話把體系結(jié)構(gòu)視角下NPU的核心邏輯講清楚。這篇內(nèi)容適合幾類人正在學(xué)體系結(jié)構(gòu)但被“領(lǐng)域?qū)S眉軜?gòu)”搞暈的學(xué)生想搞懂AI芯片為什么不能只用CPU/GPU的開(kāi)發(fā)者以及準(zhǔn)備入手端側(cè)推理、模型部署方向需要快速建立NPU知識(shí)框架的工程師。我會(huì)從“為什么需要NPU”開(kāi)始一路拆到它的硬件構(gòu)成、指令集、軟件棧最后聊聊怎么看性能指標(biāo)和那些容易踩的坑盡量讓你看完能有個(gè)整體坐標(biāo)。1. 先搞清楚體系結(jié)構(gòu)里為什么突然多出一個(gè)NPU1.1 CPU的“通用”代價(jià)CPU的設(shè)計(jì)目標(biāo)從來(lái)都不是“算得快”而是“什么都跑得動(dòng)”。為了實(shí)現(xiàn)這個(gè)目標(biāo)CPU把大量晶體管花在了控制邏輯上分支預(yù)測(cè)、亂序執(zhí)行、寄存器重命名、多級(jí)緩存、TLB……這些硬件在跑操作系統(tǒng)、數(shù)據(jù)庫(kù)、普通應(yīng)用時(shí)非常有用因?yàn)檫@類程序充滿了分支、跳轉(zhuǎn)、隨機(jī)訪問(wèn)和不可預(yù)測(cè)的依賴。但神經(jīng)網(wǎng)絡(luò)計(jì)算是另一種脾氣。一個(gè)卷積層說(shuō)到底就是一堆乘加操作循環(huán)邊界是確定的數(shù)據(jù)訪問(wèn)是規(guī)律的沒(méi)有復(fù)雜的分支也不需要猜未來(lái)要執(zhí)行哪條指令。你要是讓CPU去跑一個(gè)卷積它會(huì)把整整四層流水線、預(yù)測(cè)器、緩存系統(tǒng)都“空轉(zhuǎn)”著陪跑大部分晶體管根本沒(méi)在干正事。曾經(jīng)有人用高端CPU算一個(gè)圖像分類模型的推理功耗拉滿但利用率慘不忍睹問(wèn)題不在主頻而在架構(gòu)根本不匹配。1.2 GPU的妥協(xié)GPU比CPU強(qiáng)很多因?yàn)樗吡肆硪粋€(gè)極端堆大量簡(jiǎn)單ALU用SIMT單指令多線程的方式并行執(zhí)行。圖形渲染天然是“一堆像素各算各的”GPU的調(diào)度模型正好契合。神經(jīng)網(wǎng)絡(luò)也吃并行所以GPU在AI訓(xùn)練時(shí)代幾乎成了標(biāo)配。但GPU也有它的妥協(xié)。每個(gè)線程仍然需要獨(dú)立的寄存器、調(diào)度器和線程狀態(tài)控制開(kāi)銷還在GPU的極其靈活的通用并行能力也意味著它要為“任意并行程序”做準(zhǔn)備而這些準(zhǔn)備在神經(jīng)網(wǎng)絡(luò)這種高度規(guī)則的載荷里屬于冗余。GPU追求高精度浮點(diǎn)性能而神經(jīng)網(wǎng)絡(luò)推理對(duì)精度的要求沒(méi)那么苛刻這是GPU“浪費(fèi)”的第二個(gè)地方。最重要的是GPU的功耗密度太高你要在手機(jī)、耳機(jī)、攝像頭里放一個(gè)GPU來(lái)專門跑神經(jīng)網(wǎng)絡(luò)散熱和電池都吃不消。1.3 NPU的本質(zhì)領(lǐng)域?qū)S眉軜?gòu)這就是NPU出現(xiàn)的根本邏輯與其用一套通用的硬件去適配所有計(jì)算不如為神經(jīng)網(wǎng)絡(luò)這個(gè)固定領(lǐng)域?qū)iT設(shè)計(jì)一種“極度偏科”的處理器。體系結(jié)構(gòu)里管這叫DSADomain-Specific Architecture領(lǐng)域?qū)S眉軜?gòu)NPU就是DSA里最典型的代表。NPU不做分支預(yù)測(cè)因?yàn)樯窠?jīng)網(wǎng)絡(luò)不需要NPU不做復(fù)雜的亂序執(zhí)行因?yàn)橛?jì)算順序是編譯期就能定好的NPU把幾乎所有的面積和功耗都砸在乘法器和片上存儲(chǔ)上因?yàn)樯窠?jīng)網(wǎng)絡(luò)最核心的操作就是乘加最貴的開(kāi)銷就是數(shù)制搬運(yùn)。你可以這么理解CPU是個(gè)全能選手跑馬拉松、游泳、自行車都會(huì)但單項(xiàng)都不是最快NPU是個(gè)只練舉重的選手你讓他去跑步他不行但如果比賽項(xiàng)目只有舉重他能把全能選手按在地上摩擦。神經(jīng)網(wǎng)絡(luò)推理這個(gè)場(chǎng)景就是典型的“只考舉重”。2. NPU的三大命根子數(shù)據(jù)復(fù)用、片上存儲(chǔ)、低精度2.1 數(shù)據(jù)復(fù)用減少搬運(yùn)才是硬道理學(xué)體系結(jié)構(gòu)最容易被忽略的一個(gè)現(xiàn)實(shí)是計(jì)算早就不貴了搬數(shù)據(jù)才貴。芯片內(nèi)部做一次乘加可能只要幾個(gè)皮秒但從DRAM里讀一個(gè)數(shù)據(jù)要經(jīng)過(guò)總線、控制器、多級(jí)緩存耗時(shí)是計(jì)算的上百倍。神經(jīng)網(wǎng)絡(luò)模型動(dòng)輒幾MB到幾百M(fèi)B如果每次計(jì)算都去內(nèi)存里取數(shù)算力再高也白搭。NPU解決這個(gè)問(wèn)題的核心思想是數(shù)據(jù)復(fù)用。拿卷積舉例一個(gè)3x3的卷積核會(huì)在輸入特征圖上滑動(dòng)同一個(gè)權(quán)重會(huì)被反復(fù)用來(lái)和不同位置的輸入做乘加同一份輸入數(shù)據(jù)也會(huì)被不同的卷積核反復(fù)讀取。這種“一數(shù)多用”的特性給NPU提供了巨大的優(yōu)化空間。我記得有篇文章算過(guò)賬一個(gè)典型卷積層如果設(shè)計(jì)好數(shù)據(jù)流片上數(shù)據(jù)復(fù)用能把對(duì)外內(nèi)存訪問(wèn)量降低幾十倍。沒(méi)有這個(gè)前提NPU的“高算力”就是空中樓閣。所以你看NPU設(shè)計(jì)時(shí)最難的不是放多少個(gè)乘法器而是怎么設(shè)計(jì)數(shù)據(jù)流讓每個(gè)從DRAM搬到片上來(lái)的數(shù)據(jù)能被盡可能多地使用。這就像你做飯去一趟超市買一車菜如果只做一道菜就浪費(fèi)了厲害的大廚會(huì)規(guī)劃好這一車的菜能連續(xù)出好幾道減少反復(fù)跑超市的時(shí)間。NPU里的“超市”就是DRAM“大廚”就是數(shù)據(jù)流調(diào)度器。2.2 片上存儲(chǔ)SRAM即一切既然數(shù)據(jù)復(fù)用這么重要那空間放不下也一樣白搭。NPU芯片里最貴的面積往往不是計(jì)算單元而是片上SRAM靜態(tài)隨機(jī)存儲(chǔ)器。SRAM比DRAM快得多帶寬也大得多能直接喂飽計(jì)算陣列。所以NPU內(nèi)部通常是一個(gè)存儲(chǔ)層級(jí)最底層是DRAM主內(nèi)存往上是較大的片上SRAM用來(lái)暫存特征圖分塊和權(quán)重的tile最靠近乘法器的是一小堆寄存器/累加器。這里有個(gè)關(guān)鍵設(shè)計(jì)點(diǎn)NPU不會(huì)一次性把整張?zhí)卣鲌D和所有權(quán)重塞進(jìn)SRAM因?yàn)槿幌?。它采用的是循環(huán)分塊loop tiling策略把大矩陣切成一個(gè)個(gè)小塊依次搬入片上算完一塊再搬下一塊。塊的大小怎么定搬入的時(shí)機(jī)怎么選這就是編譯器干的重活。整體來(lái)說(shuō)NPU性能好不好一半看硬件陣列多大另一半看片上存儲(chǔ)能不能讓陣列時(shí)刻處于“有活可干”的狀態(tài)。我測(cè)試過(guò)不同NPU最大的差距往往不是峰值算力而是片上SRAM的容量和調(diào)度策略SRAM小的芯片碰到大模型會(huì)頻繁“斷糧”利用率直線下跌。2.3 低精度8位夠不夠用NPU普遍支持低精度運(yùn)算int88位整數(shù)是最常見(jiàn)的推理精度很多端側(cè)NPU甚至開(kāi)始支持int4。為什么敢用低精度因?yàn)樯窠?jīng)網(wǎng)絡(luò)在訓(xùn)練完成之后權(quán)重和激活值的分布相對(duì)穩(wěn)定對(duì)噪聲有很強(qiáng)的容忍度。把float32的權(quán)重量化到int8大多數(shù)任務(wù)精度損失可以控制在1%以內(nèi)。但硬件收益非常巨大int8乘法器的面積大概只有fp32的幾分之一速度更快功耗更低同樣面積你能塞下更多的計(jì)算單元。這背后對(duì)應(yīng)著體系結(jié)構(gòu)里的經(jīng)典權(quán)衡用精度換性能和功耗。做訓(xùn)練時(shí)因?yàn)橐聪騻鞑ァ⒁_梯度需要fp32甚至fp16做推理時(shí)前向計(jì)算對(duì)誤差不敏感int8足夠了。量化方法一般有兩種訓(xùn)練后量化PTQ和量化感知訓(xùn)練QAT。PTQ是把訓(xùn)練好的模型直接轉(zhuǎn)成int8省事但可能有點(diǎn)精度損失QAT是在訓(xùn)練過(guò)程中就模擬量化誤差讓網(wǎng)絡(luò)適應(yīng)低精度精度更高但要重訓(xùn)模型。實(shí)際項(xiàng)目里我通常先試PTQ精度不達(dá)標(biāo)再上QAT省時(shí)間。這里還有一個(gè)容易忽略的細(xì)節(jié)很多NPU標(biāo)稱的TOPS算力是基于int8算的換成fp16這個(gè)數(shù)字可能直接腰斬理解精度和算力的掛鉤關(guān)系是看懂NPU規(guī)格表的第一步。3. 拆開(kāi)NPU核心硬件模塊與數(shù)據(jù)流3.1 脈動(dòng)陣列一個(gè)格子只算一招聊NPU硬件不得不提脈動(dòng)陣列Systolic Array。簡(jiǎn)單說(shuō)它是一個(gè)二維的MAC乘加單元網(wǎng)格數(shù)據(jù)在相鄰的單元之間按節(jié)奏流動(dòng)每個(gè)單元只做一次乘加然后把結(jié)果傳給下一個(gè)。這設(shè)計(jì)妙在哪妙在“沒(méi)有多余動(dòng)作”。每個(gè)乘法器不需要從復(fù)雜的寄存器堆里取數(shù)數(shù)據(jù)會(huì)從陣列邊緣流入像流水線一樣流過(guò)去中間單元只需要專注算。脈動(dòng)陣列有不同的數(shù)據(jù)流組織方式常見(jiàn)的有權(quán)重固定weight stationary、輸入固定input stationary、輸出固定output stationary。什么意思權(quán)重固定是指權(quán)重提前加載到各個(gè)單元里不動(dòng)輸入數(shù)據(jù)流經(jīng)陣列每個(gè)單元拿著自己存的權(quán)重和流過(guò)的輸入做乘加適合卷積這種權(quán)重復(fù)用的場(chǎng)景輸入固定則是把輸入留在片上反復(fù)使用權(quán)重流過(guò)去適合某些全連接場(chǎng)景。不同廠商的NPU風(fēng)格差異很大程度就是選了不同的數(shù)據(jù)流策略。我早期看脈動(dòng)陣列時(shí)總覺(jué)得復(fù)雜后來(lái)想通了一個(gè)類比它像一條流水線上的工人每個(gè)人只擰一個(gè)螺絲零部件從左傳到右最后出來(lái)一個(gè)完整產(chǎn)品。每個(gè)工人不需要知道整個(gè)產(chǎn)品長(zhǎng)什么樣只需要等著零件到手熟練擰一下傳給下一個(gè)人。這種“顆粒度極細(xì)”的并行是傳統(tǒng)CPU完全無(wú)法做到的。3.2 激活函數(shù)、池化與歸一化單元脈動(dòng)陣列算完的結(jié)果是線性累加和但神經(jīng)網(wǎng)絡(luò)必須要有非線性否則層數(shù)再多也等價(jià)于一層線性變換。所以NPU里必須有激活函數(shù)單元比如ReLU整流線性單元、Sigmoid等。這部分一般掛在MAC陣列后面作為流水線的一站。池化層用來(lái)降采樣也是固定模式操作NPU可以用專門邏輯或復(fù)用MAC陣列來(lái)做。還有一個(gè)值得注意的細(xì)節(jié)推理階段批量歸一化BatchNorm通常會(huì)被“折疊”進(jìn)卷積的權(quán)重和偏置里。折疊之后推理時(shí)不再需要單獨(dú)算歸一化卷積層直接輸出結(jié)果。這個(gè)優(yōu)化是編譯器干的但硬件設(shè)計(jì)時(shí)也會(huì)預(yù)留支持比如允許權(quán)重和偏置做特殊處理。這種“軟硬件協(xié)同”的例子在NPU里到處都是你要是不了解折疊機(jī)制可能還以為NPU缺了某個(gè)功能模塊。3.3 控制與調(diào)度NPU也有“程序計(jì)數(shù)器”嗎NPU的控制邏輯很簡(jiǎn)單不像CPU有復(fù)雜指令流水線。絕大多數(shù)NPU的工作方式是“任務(wù)描述符”task descriptor驅(qū)動(dòng)主機(jī)CPU把網(wǎng)絡(luò)每一層的計(jì)算任務(wù)打包成一個(gè)描述符里面包含輸入地址、權(quán)重地址、輸出地址、數(shù)據(jù)形狀、步長(zhǎng)、操作類型等參數(shù)寫進(jìn)NPU的命令隊(duì)列或者寄存器。NPU拿到描述符后自主完成數(shù)據(jù)搬運(yùn)、計(jì)算、寫回完成后通過(guò)中斷或者狀態(tài)位告訴主機(jī)。我拿一個(gè)實(shí)際例子說(shuō)明。部署一個(gè)圖像分類模型時(shí)你會(huì)看到系統(tǒng)里有幾百個(gè)這樣的任務(wù)描述符第一層卷積一個(gè)描述符ReLU可能也被融合進(jìn)卷積了第二層卷積又一個(gè)描述符……主機(jī)CPU只需要把這一串描述符按順序提交給NPU然后就可以干別的去了NPU會(huì)異步地執(zhí)行完整個(gè)網(wǎng)絡(luò)。這個(gè)過(guò)程完美映射了體系結(jié)構(gòu)里的“異步”和“DMA”概念也解釋了為什么NPU運(yùn)行AI任務(wù)時(shí)CPU占用率可以很低。4. NPU指令集與軟件棧它到底是怎么被“編程”的4.1 從指令集看NPU它根本不是“通用處理器”很多剛接觸NPU的人會(huì)問(wèn)NPU跑的是什么指令集能不能寫個(gè)C程序直接編譯上去跑答案是不能也沒(méi)必要。NPU的“指令”更像配置參數(shù)而不是傳統(tǒng)意義上的指令。比如“把輸入地址0x1000的數(shù)據(jù)按3x3卷積核處理輸出到0x2000”這是一個(gè)任務(wù)不是一條RISC風(fēng)格的指令。有些NPU設(shè)計(jì)會(huì)引入類似RISC的指令風(fēng)格用于控制流和同步但核心計(jì)算能力仍然靠特定算子的硬件執(zhí)行單元實(shí)現(xiàn)。你可以把NPU理解成一個(gè)“專用加速器”它只能執(zhí)行神經(jīng)網(wǎng)絡(luò)這個(gè)領(lǐng)域內(nèi)的操作不能跑操作系統(tǒng)不能執(zhí)行任意程序。這也帶出一個(gè)實(shí)用建議選型NPU時(shí)不要只看算力要看它“支持哪些算子”。有的NPU對(duì)標(biāo)準(zhǔn)卷積優(yōu)化得很好但碰到轉(zhuǎn)置卷積、動(dòng)態(tài)形狀、循環(huán)依賴的算子可能直接退回CPU慢速執(zhí)行部署時(shí)踩坑。4.2 編譯器的真功夫圖優(yōu)化、內(nèi)存規(guī)劃和算力映射NPU軟件棧的核心是編譯器。以某個(gè)常見(jiàn)開(kāi)源深度學(xué)習(xí)框架為例流程大概是模型比如一個(gè)導(dǎo)出的計(jì)算圖輸入到NPU編譯器編譯器先做算子融合把卷積、ReLU、批歸一化合并成一個(gè)融合算子然后做內(nèi)存規(guī)劃分析每個(gè)張量的生命周期盡量復(fù)用片上緩沖區(qū)最后把每個(gè)算子映射成NPU任務(wù)描述符并生成調(diào)度順序。算子融合帶來(lái)的收益非常大。舉個(gè)例子一個(gè)卷積層后面跟ReLU如果不融合卷積的輸出要完整寫到DRAMReLU再把它讀出來(lái)一來(lái)一回兩塊內(nèi)存帶寬融合后卷積單元算出一個(gè)像素ReLU立刻處理結(jié)果直接留在片上甚至可以直接作為下一層的輸入。原始網(wǎng)絡(luò)有100個(gè)算子融合之后可能變成50個(gè)任務(wù)中間數(shù)據(jù)搬運(yùn)量減少一大半。下面是一段偽代碼能幫你直觀理解tile搬移加計(jì)算的過(guò)程# NPU編譯器生成的核心調(diào)度邏輯偽代碼 for tile in plan.tiles: # 把輸入特征圖的一個(gè)分塊從DRAM搬到片上SRAM dma_load(input_addrtile.input_addr, sram_bufferinput_sram[tile.buffer_id]) # 把對(duì)應(yīng)的權(quán)重分塊搬到片上SRAM dma_load(weight_addrtile.weight_addr, sram_bufferweight_sram[tile.buffer_id]) # 用MAC陣列計(jì)算數(shù)據(jù)流直接在片上完成 compute(engine_idtile.engine_id, input_bufferinput_sram[tile.buffer_id], weight_bufferweight_sram[tile.buffer_id], output_bufferoutput_sram[tile.buffer_id]) # 結(jié)果寫回DRAM dma_store(output_sram[tile.buffer_id], output_addrtile.output_addr)這段邏輯看著簡(jiǎn)單實(shí)際編譯器要考慮的東西多得多哪個(gè)tile先算能最大化復(fù)用已經(jīng)搬進(jìn)來(lái)的數(shù)據(jù)SRAM分給輸入還是權(quán)重多核NPU怎么分工這些優(yōu)化直接決定NPU能不能跑出接近峰值的水準(zhǔn)。我自己調(diào)試性能時(shí)最常做的事就是看編譯器生成的“內(nèi)存分配報(bào)告”和“任務(wù)時(shí)間表”那里面的門道比硬件框圖要深得多。5. 整個(gè)系統(tǒng)視角NPU在主板上是怎么工作的5.1 異構(gòu)架構(gòu)CPU、GPU、NPU怎么分工真實(shí)的SoC片上系統(tǒng)里CPU、GPU、NPU不是各干各的而是協(xié)同工作。CPU負(fù)責(zé)控制流和任務(wù)調(diào)度GPU負(fù)責(zé)圖形或部分并行計(jì)算NPU專職神經(jīng)網(wǎng)絡(luò)推理。它們共享一塊DRAM通過(guò)總線互連。運(yùn)行一個(gè)AI應(yīng)用時(shí)CPU先把圖片數(shù)據(jù)準(zhǔn)備好在內(nèi)存里布局好然后通知NPU開(kāi)始處理NPU算完CPU再接過(guò)結(jié)果去做后續(xù)的邏輯判斷。這中間涉及一個(gè)體系結(jié)構(gòu)老話題緩存一致性。NPU有自己的片上SRAM但主機(jī)CPU和NPU共享DRAM時(shí)誰(shuí)改動(dòng)數(shù)據(jù)、誰(shuí)看到最新數(shù)據(jù)需要明確規(guī)則。有的NPU設(shè)計(jì)直接不走CPU緩存要求主機(jī)在提交任務(wù)前顯式flush緩存有的則參與系統(tǒng)一致性協(xié)議硬件幫你搞定。前一種軟件上容易踩坑我碰到過(guò)“NPU老是讀到舊數(shù)據(jù)”的問(wèn)題最后就是漏了緩存同步。5.2 藏在背后的最大瓶頸內(nèi)存帶寬很多人看NPU性能只盯TOPS實(shí)際上大多數(shù)真實(shí)場(chǎng)景的瓶頸是內(nèi)存帶寬。一個(gè)100 TOPS的int8 NPU工作頻率按1GHz算意味著每個(gè)周期要執(zhí)行約10萬(wàn)次int8乘加。如果每次乘加都要從DRAM讀一個(gè)輸入和一個(gè)權(quán)重每個(gè)周期要讀200KB這遠(yuǎn)超任何DRAM的帶寬能力。所以NPU必須靠數(shù)據(jù)復(fù)用把實(shí)際訪存需求降下來(lái)但即便如此像全連接層這種“權(quán)重巨大、復(fù)用有限”的算子仍然會(huì)牢牢卡在帶寬上。怎么判斷一個(gè)模型在NPU上是算力受限還是帶寬受限有個(gè)簡(jiǎn)單的估算方法算一下模型的總計(jì)算量MACs和總內(nèi)存訪問(wèn)量bytes用計(jì)算量除以帶寬峰值和用計(jì)算量除以算力峰值哪個(gè)大哪個(gè)就是瓶頸。端側(cè)部署時(shí)很多模型是帶寬受限的優(yōu)化手段重點(diǎn)就放在模型壓縮、算子融合、減少中間張量上。工程師如果能建立“算力-帶寬-存儲(chǔ)容量”這三個(gè)維度的性能心智模型調(diào)試NPU時(shí)會(huì)順手很多。6. 怎么看懂NPU性能指標(biāo)別被算力數(shù)字騙了6.1 TOPS到底怎么算的TOPS是Tera Operations Per Second即每秒萬(wàn)億次操作。但這里有個(gè)容易混淆的點(diǎn)一次MAC乘加通常被算作2次操作因?yàn)槌朔ê图臃ㄊ莾杉隆K砸粋€(gè)擁有M個(gè)MAC單元、主頻為F的NPU理論峰值算力 2 × M × F單位視M和F的量級(jí)調(diào)整。很多廠商宣傳時(shí)的“AI算力XX TOPS”默認(rèn)都是int8精度并且按2次操作計(jì)算。如果你把這個(gè)數(shù)當(dāng)成fp32算力會(huì)大錯(cuò)特錯(cuò)。看規(guī)格表時(shí)我一般建議盯著三欄精度int8還是fp16、算力TOPS、內(nèi)存帶寬GB/s。光看一個(gè)TOPS沒(méi)有任何意義。最新的一些經(jīng)驗(yàn)是端側(cè)中高端NPU普遍在10-30 TOPS區(qū)間云端的卡級(jí)別NPU能到幾百上千TOPS但后者功耗和散熱要求完全不是一個(gè)量級(jí)。6.2 實(shí)際性能為什么利用率只有一半理論峰值是理想情況實(shí)際跑模型利用率通常只有30%-50%常見(jiàn)的蠶食因素有三個(gè)一是數(shù)據(jù)搬運(yùn)開(kāi)銷哪怕有緩存DRAM的延遲和帶寬限制依舊存在二是算子映射效率有些算子硬件支持不好編譯器生成的調(diào)度效率低三是小算子調(diào)度開(kāi)銷比如一個(gè)很小的激活函數(shù)或reshape算子如果單獨(dú)成為一個(gè)任務(wù)任務(wù)提交和同步的固定開(kāi)銷會(huì)占大頭。所以評(píng)估NPU最靠譜的方法是端到端跑真實(shí)模型用延遲和吞吐說(shuō)話而不是信規(guī)格表。同一款NPU跑MobileNet和跑ResNet的“實(shí)際表現(xiàn)/理論峰值”比例完全不同跑單幀和跑連續(xù)幀流也完全不同。我個(gè)人現(xiàn)在評(píng)測(cè)NPU一定是拿自己業(yè)務(wù)里最典型的三五個(gè)模型固定輸入尺寸、固定精度、固定batch跑出來(lái)的數(shù)據(jù)才有參考價(jià)值。7. 常見(jiàn)問(wèn)題與經(jīng)驗(yàn)總結(jié)這些坑我?guī)湍悴冗^(guò)了7.1 關(guān)于NPU的四個(gè)常見(jiàn)誤區(qū)先給你列一個(gè)我平時(shí)回答咨詢時(shí)反復(fù)糾正的誤區(qū)速查表誤區(qū)實(shí)際情況算力高性能好帶寬、緩存、算子支持和編譯器都會(huì)拖后腿NPU什么模型都能跑算子支持有限復(fù)雜控制流效率極低int8一定掉精度大多數(shù)任務(wù)量化損失很小QAT之后幾乎無(wú)損NPU會(huì)取代CPU異構(gòu)架構(gòu)里兩者是協(xié)作關(guān)系各干各的這四個(gè)誤區(qū)我都在真實(shí)項(xiàng)目里見(jiàn)過(guò)。有一回優(yōu)化一個(gè)檢測(cè)模型廠商說(shuō)NPU算力特高結(jié)果一跑發(fā)現(xiàn)在一個(gè)動(dòng)態(tài)形狀的算子上直接退回CPU執(zhí)行整個(gè)延遲翻了三倍。還有一次模型量化后精度掉了2個(gè)點(diǎn)我們沒(méi)細(xì)想就全盤改用QAT重訓(xùn)成本很高后來(lái)才發(fā)現(xiàn)只是某個(gè)激活層沒(méi)有做量化敏感處理補(bǔ)上就好了。多試、多測(cè)、多看編譯器日志比迷信任何宣傳都管用。7.2 給新人的學(xué)習(xí)建議從軟件棧切入別一上來(lái)啃RTL如果你想把NPU學(xué)明白我給的建議是先別急著看寄存器傳輸級(jí)RTL代碼而是從軟件棧切入。大致的順序是先在一個(gè)成熟的深度學(xué)習(xí)框架里把一個(gè)模型部署到某個(gè)NPU上跑通感受整個(gè)工具鏈流程再去看編譯器生成的任務(wù)日志理解模型被切成了多少個(gè)算子、內(nèi)存是怎么規(guī)劃的然后回頭研究NPU的架構(gòu)文檔重點(diǎn)看脈動(dòng)陣列的尺寸、SRAM容量、數(shù)據(jù)流方向最后才考慮寫個(gè)小算子比如手寫一個(gè)3x3卷積的映射代碼在模擬器上跑一跑。這種倒著學(xué)的方式能讓你在短時(shí)間內(nèi)建立“模型—算子—硬件”三層映射的心智模型而不是陷在晶體管細(xì)節(jié)里出不來(lái)。我在學(xué)習(xí)早期犯過(guò)一個(gè)錯(cuò)誤拿了一堆RTL代碼盯著看越看越糊涂后來(lái)發(fā)現(xiàn)只要先把“數(shù)據(jù)從哪來(lái)、到哪去、在哪計(jì)算”這三件事理清楚NPU的大局就明白了。7.3 最后分享一個(gè)實(shí)用技巧怎么快速估算一個(gè)模型在NPU上會(huì)不會(huì)快拿到一個(gè)模型先別急著部署花十分鐘在紙上做一個(gè)估算。第一步統(tǒng)計(jì)模型總MACs很多框架工具能直接輸出第二步估算模型權(quán)重總大小和最大中間特征圖大小第三步看看目標(biāo)NPU的算力、帶寬和片上SRAM容量第四步算算推理一遍需要多少次數(shù)據(jù)搬運(yùn)是否超過(guò)片上容量是否會(huì)被帶寬卡住。這套方法雖然粗糙但能讓你在動(dòng)手前就對(duì)方案的可行性有個(gè)判斷避免盲目調(diào)優(yōu)。我自己每次換NPU平臺(tái)都會(huì)先拿這套估算過(guò)一遍再?zèng)Q定要不要投入時(shí)間做深度適配。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
WWW久久久| 大香蕉九九操| 五月天激情网页| 久久久av久av久片一区二区| 亚洲99热| 婷婷五月情| www,五月天com| 丁香婷婷性爱| 五月天婷婷青青| 99ER热精品视频| 69激情小说| 玖玖婷婷免费| 色五月五月婷婷| 内射综合网| 久久三级视频| WWW.夜夜| 丁香五月中文字幕| 婷婷爱五月| 天天久久综合| 97视频.干com| 中文字幕 中文字幕明步| 五月天成人在线播放丁香| 婷婷狠狠爱| 婷婷五月情| 久久色五月天| 日本人人超碰| 久久色天堂| 日韩色色网| 亚洲亚洲人成综合网络| 亚洲精品永久久久久久| 激情啪啪五月天| 操操操97| 色九区| 色婷婷色五月另类综合| 视频在线免费观看欧洲乱码| 婷婷97| 亚洲色色色色| 特黄三级片| 丁香六月综合激情| 激情婷婷五月天| 狠狠色丁香| 在线播放人妻| AV性爱在线| 五月丁香五月激情综合色综合| 99热黄| 强伦轩人妻一区二区电影| 丁香五月天天| www激情网站| 99热精品在这里| 丁香五月人妻熟女| 色婷婷五月综合| 曰韩五月丁香色婷婷无码| www.久久爱.com| 五月天婷婷色播| 极品少妇婷婷五月| 中文字幕在线免费看线人| 激情亚洲网| 黄网在线免费观看| 中文字幕网站在线观看| 五月婷婷香蕉视频| 免费AV播放| 99免费热视频在线| 天天综合亚洲综合| 色色影院aaaav| 丁香五月电影| 色婷婷888| 成人视频婷婷| 丁香五月伊人| 天天夜天天色天天| 狠狠干五月天婷婷网| 风流少妇A片一区二区蜜桃| 丁香六月激情国产| 99精品无码网站| 9操在线| 免费在线观看AV网站| 香蕉综合在线| 久超超碰| 丁香五月天婷婷激情| 丁香五月日啪| 丁香五月综合久久八| 一区二区三区XXXXXX| 日日影院 | 色婷婷六月天| 五月丁香啪啪综合| 丁香久久综合| 99色| 舔色婷婷| 婷婷丁香色女人| 69er小视频| 五月丁香在线| 亚洲综合新99视频| 久热播这里只有精品| 狠狠干,狠狠操| 99热国产精品| 五月婷婷在线免费观看| 亚洲性爱干干| 亚洲中文字幕在线观看| 日韩成人精品一区久久久久| 婷婷大香焦| 千人斩操逼| 激情小说五月天| 男人的天堂99| 狠狠色九月| 五月丁香综合| 免费看欧美成人A片无码| 激情五月丁香婷婷夜夜操| 伊人干综合| 久热中文字幕| 91丨九色丨东北熟女| 亚洲天堂大香蕉| 丁香五月天婷婷中文字幕| 婷久久综合| 亚洲成人婷婷| 久久精品五月天| 丁香六月成人网| 男男野外做爰全过程69| 操B无码视频国语| 中文字幕 中文字幕明步| www.婷婷| 丁香五月天成人| 91男人操女人视频| 婷婷色基地在线看| 天天综合网站| 色婷婷久久综合久色综| 99热在这里只有精品| 日韩成人中文字幕| www久久99| 看婷婷五月天网| 狠狠色狠狠操| 久久五月天激情视频| 性做爰A片免费视频A片直播| 成年人看Va免费视频| 99视频综合| 人草人人| 久大香蕉| 99热精品在线观看| 射久久丁香五月| 久久涩视频| 人人人va亚洲视频在线| 狠狠爱婷婷色| 直接看的av| 色色色精品无码区| 丁香五月天堂亚洲社区| 九月婷婷色色| 日韩三级片一区二区| 人妻久久久久久| 五月丁香天堂网婷婷| 婷色天堂| 激情综合99| 日本波多野结衣视频| 9l视频自拍9l九色成人| 超碰人人在线观看| 中文字幕精品在线观看| 久久丁香| 天天色五月婷婷91久久久久久久| 伊人碰碰婷婷| 六月99天天婷婷激情综合| 日韩操人| 亚洲AV成人在线| 另类综合激情| 九八Av| 日韩在线五月天婷婷| 97碰碰碰| 精品人妻午夜一区二区三区四区| 色婷婷五月天激情在线观看| 激情婷婷五月天| 国产av天堂| 99久久免费精品| 激情 婷婷| 成人精品99| 婷婷五月六月丁香综合| 色激情综合| 99热66| 激情又色又爽又黄的A片| 1024成人免费看| 综合九九久久| 亚洲成人色五月天| 超碰1999| 国产激情视频在线观看| 丁香狠狠干| 99爱免费视频| 五月丁香婷婷色| www.色五月| 久久99精品久久只有精品| 亚洲色色色| 人妻精品久久久久久久| 六月丁香婷| 综合五月激情| 久久人妻视频| 激情五月天网| 激情五月视频| 日日爱678| 99欧美精品99日本精品| 九九热精品视频| 婷婷丁香综合| 婷婷色女| 丁香玖玖| 婷婷丁香色五月天| 99热99在线| 欧美成人性爱网| 色婷婷黄色网络| 91美女艹逼网站| 日日操日日撸| 色色色综合| 色的色综合| 亚洲人妻电影| 激情色五月天| 久久五月视频| 日本不卡中文字幕| 五月天婷婷基地| 99re这里只有精品免费| 久久九区| 久久婷视频| 午夜无码熟熟妇丰满人妻| 久久色五月天| 超碰三级片| 色吧婷婷五月亚洲| 五月婷婷色色| 99性爱| 9色免费网| 五月婷俺去也| 少妇被躁爽到高潮无码文| 五月激情婷婷综合| 久色视频| 亚洲热热视频| 亚洲精品激情| 婷婷五月另类网站| 天天日天天插| 国产成人VA| 婷婷五月大香蕉| 色婷婷日本| 99re这里只有精品国产99| 色月丁| 国产亚洲成AV人片在线观黄桃| 无码人妻激情| 婷婷五月丁香五月| 99热精品无码| 亚洲国产色色| 婷婷五月综合视频| 日本激情五月天‘| 亚洲最大五月天成人网| 丁香婷婷久久老熟女综合网| 五月丁香少妇A| 超碰在线成人| 久久婷婷影院| 色玖玖综合网| 26.uuu丁香五月婷婷| 92久久久| 69人人操人人爽| 风流少妇A片一区二区蜜桃| 亚洲av成人在线| 色五月婷婷久久| 中日韩美欧成人一区二区精品在线| 另类图片色五月| 狠狠爱婷婷丁香| 久久这里都是精品| 丁香婷婷六月男男| 婷婷丁香高潮了| 色情五月婷| 99热一本久道| 五月天激情国产综合婷婷婷| 色99视频| 日日日日日| 丁香五月色情| 免费视频WWW在线观看网站| 97香蕉碰碰人妻国产欧美| 久久久婷| 婷婷色导航| 狠狠干在线| 欧美在线视频99| 久操人妻| 婷婷五月天久久| 91五月天| 嫩草AV久久伊人妇女超级A| 国产一区二区三区影院| 婷婷综合仓库中文| 97在线日韩| 天天视频精品9| 5Www色5夜| 91丨九色丨国产| 猫咪伊人AV| 伊人大香蕉爱聚| 草草色情综合网| 68热超碰在线| 麻豆忘忧草午夜| 97在线/日本| 日韩成人网址| 日本婷婷五月天| 五月开心网| 五月丁香六月综合激情| 国产午夜精品AV一区二区麻豆| 国产FREESEXVIDEOS性中国| 亚洲成av人影院| 色五月激情五月| 国产性av| 可以看的AV| 91 九色 熟女| 九九色逼| 亚洲精品一区无码A片| 色九九中文字幕| 97人人操人| 婷婷国产欧美97| 色婷婷A| 久婷婷| 五月天激情偷拍| 五月天色五月天| 五月花婷婷丁香| 婷婷激情五月色综合| 色五月av| 桃色五月天| 大香蕉220| 亚洲成人网址在线观看| 丁香婷婷色九月| 啪啪91| 亚洲99激情| 亚洲欧洲自拍图片专区五月天| 开心五月色婷婷综合开心网| 亚洲六月色婷婷| 欧美成人va| 婷婷丁香红五月91C| 大香久久综合网| 激情四射网| 丁香桃色网| 69精品人人人人| 亚洲av电影网站| AV成人在线播放| 亚洲精品网站色视频| 开心五月深爱五月婷| 四色AVwww| A1片久久久| 五月婷婷综合视频| 丁香五月婷婷久久久| 91精品国产99久久久久久天美| 3pAV| 五月天国产| 日本综合色图| 9久9久9久女女女九九九一九| 99精品久久久久久久| 五月婷婷xxx| 大伊久久| 五夜婷婷| 午夜]香婷婷深深爱| 五月婷婷啪啪啪| 开心 五月 综合| www.色五月.com| 97久久久久| 黄色三级毛片中字| 超碰人人超碰| 五月综合缴情网| 玖玖爱伊人| 任你躁XXXXX麻豆精品| 天堂网啪啪| 亚洲美女婷婷五月天| 婷婷五月天激情网站| 日日.c| 欧美日本国产| 色婷婷综合久色AV五色最新| 激情色色色| 国产67194| 色五月婷婷伊人| 伊人在线另类| 婷婷激情小说网| 中文字幕婷婷五月天在线观看| 人人操日| 天花AV无码| 婷丁香久综合| 91九色熟女| 色呦精品| 99爱免费在线观看| 婷婷久月| 欧美激情久| 激情伊人五月婷婷久久| 丁香九月婷婷| 色五月大| 六月丁香色婷婷| 天天日天天插| 综合久久综合久久| 久婷五月| 日本一区二区三区精品视频| 99在线观看这里都是精品| 久久九精品| 亚洲天堂婷婷| 久久视频婷婷视频| 亚洲天堂色色| 殴美激情综合网| 99热这里只有精品搜| 开心五月婷婷激情| 99热在线爱| 丁香五月成人| 久久婷婷东京热大香樵| av性爱在线| 九九热在线精品视频| 日本99在线视频| 婷婷综合五月天亚洲综合| 五月天婷婷基地| 99热最新网址| 久久激情天堂| 色色色综合色| 久9久9久9久9久9久9| 91婷婷五月天嫩女| 久久久久久婷| 99热这里只有精品 搜| 五月天婷婷激情| 综合色播| 中文AV在线播放| 99热人人操人人操| 五月天天爽| 婷婷五月丁香亚洲| 精品亚洲国产成AV人片传媒| 日本久久99| 狠狠色综合久久| 久久久久久久人妻| 国产在线6| 激情综合色| 婷婷久久久久| 婷婷色在线视频| 蜜桃婷婷狠狠久久综合| 99热这里只有精品免费观看| 月丁香久久久| 99免费| 亚洲免费成人电影AV| 婷婷深爱网| BBWCUCKOLD精品熟妇| 日日日日做夜夜夜夜无码| 丁香婷婷五月| 欧美激情 日韩无码 婷婷 五月天| 呦呦v线| 99r久久这里只有精品| 国内婷婷丁香社区在线播放| 色五月婷婷婷婷| 五月开行婷婷色五月| 五月婷婷久| 天天操天天曰| 婷婷久久亚洲| 五月天成人综合| 五月久久噜噜| 日本熟妇乱妇熟色A片蜜桃| 色五月激情五月丁香五月婷婷啪啪综合| 五月综合无码| 色婷婷五月天激情久久| 五月天丁香婷婷网| 2025天天操| 婷婷丁香五月天之开心少妇| 色婷婷亚洲六月婷婷中文字幕| 婷婷五月激情综合啪啪| 五月婷婷偷拍| 丁香五月亚洲激情婷婷射| 亚洲激情网| 五五月丁香花激情综合网| 久久久久久久人妻| 天天成人综合视频| 伊人玖玖网| 天天综合网91| 爱爱色五月天| 激情五月天婷婷播播久久综合91| se99视频| 丁香色六月婷婷| 日日干天天| 亚洲色爽| 亚洲人人艹| 激情四射婷婷| 天天搞夜夜六| 午夜丁香久久久久久| 婷婷六月丁| 99九无网码| 99热这里只有精品99| 5月丁香综合网| 亚洲成人av在线观看| 人人爽天天爽| 99热久| 99热精品在线观看| 久久婷婷六月综合| 五月天婷婷爱| 国产精品VIDEOSSEX久久发布| 天堂va久久久噜噜噜久久Va| 色五婷婷开心缴| 九色91国产| 日本三级日本三级99| 婷婷激情另类| 美女xx不卡| 久久九九爽| www。五月天激情| 亚洲国产婷婷色五月| AA丁香综合激情| 久久开心五月婷婷| 97碰碰在线看视频免费| 极品人妻VIDEOSSS人妻| 久久色亭亭五月天| 婷婷在线五月天观看| 大香蕉五月婷婷丁香| 91九色欧美| WWW色五月天| 久9草在线观看视频| 久热 91| 欧美激情五月天在线观看| 欧在线一区| 丁香六月在线| 五月色天情| 爱射综合| 中文字幕精品推荐免费在线观| 综激情网| 婷婷色五月情| 色色五月婷婷| 九月婷婷在线观看| 婷婷久久五月天| 婷婷射丁香| 狠狠色婷婷7| 日本va欧美va精品发布视频| 色色色777| 玩熟女五十AV一二三区| 亚洲AV网站在线观看| 一本久久亚洲五月婷婷| aaaaa不卡| 岛国av网站| 九九在线这里只有精品视频 | 六月婷婷久久大全| 五月婷婷激情综合在线| 九九99热久久精品66中文字幕| 99这里只有免费的小视频在线观看| 日本视频欧美观看免费| 天天躁日日躁狠狠躁日日躁2022年5月9日| 庭庭久久内射| www.夜夜.com| 99在线观看精彩视频| avv在线| 丰满少妇猛烈A片免费看观看| WWW.桔色成人.COM| www99热| 五月色色激情网| 五月丁香六月片| 丁香 婷婷五月| 婷婷六月激情| 7月婷婷六月丁香| 欧美十二区| 99只有精品| 色日本综合| 久久人人人人妻| 色狠狠五月天| 婷婷99视频精品| 天堂在线婷婷| 69热91天堂| 99热亚洲| 激情五月婷| 久热超碰91| 欧美日韩AAA| 99热99热在线观看| 男人的天堂999| 久久婷婷丁香| 丁香 亚洲 久久| 另类国产欧美视频| 久99在线| 日韩在线观看网址| 五月丁香啪| 亚洲天堂久久| 久久五月天视频| 色欲天天综合| 久久机热思思热| 狠狠肏综合网| 色色色在线播放| 99精彩视频网站在线| 9久热| 色玖玖综合| 四色99久久| 成年AAAA色情| 五月婷婷综合网在线播放| 在线播放成人网站| 大香蕉99热| 十区AV| 月丁香久久久| 五月综合激情图片| 99九九99九九九视频精品| 91麻豆国产三级精品福利在线观看 | 黑人巨粗进入警花疼哭A片| www.婷婷| 丁香五月天堂| 婷婷久久综合| 成功精品影院| 国产伦亲子伦亲子视频观看| 天天色播| 99精品视频在线观看| 丁香六月啪| 色情五月丁香| 五月婷婷六月激情| 婷婷五月色情天| 开心五月婷婷| 99热免| www.精品99| 9色在线| 五月婷婷色吧!| 99在线爽| 五月丁香啪啪| 黄色AAAAA| 激情五月六月婷婷| 九九大香视频| 久草婷婷| 久久精品99| 狠狠干综合| 嫩草AV久久伊人妇女超级A| AA片在线观看视频在线播放| 日韩久久成人| .comwww在线观看免费操| 99 福利 导航| 91超级碰| 国产AV一区二区三区最新精品| 五月天电影网| 亚洲综合视频八| 色婷婷瘦婷婷日韩| 亚洲综合99| 淫荡家庭AV| 日韩激情婷婷五月天| 翔田千里无码| 深爱1激情网| 人人噜天天上| 色婷婷偷拍| 激情综合五月丁香| 淫视馆av三区| www.五月天。com| 久久综合伊人综合在线| 99热日韩| 99亚洲精品| 色丁香久久| 国产真人做爰视频免费| 99re这里有精品手机在线| 日韩久久日| www.激情五月| 久久综合五月天| 五月婷婷狠天天色综合| 中文超碰视在线| 思思热这里只有精品| 人人草人| 欧美色六月婷婷| 日本高清久| 激情图片亚洲| 九九色热| 色偷偷色婷婷| 亚艹艹| 久久久色婷婷五月天| 青青日韩| 日韩熟女啪啪视频| 九九热精品| 久久精品婷婷| 草综合14| 婷婷五月天成人网站| 丁香五月六月久久综合 | 99视频精品视频| 六月撸婷婷| 日本97人人| 人妻久久久久久| 青青草原亚洲天堂| 综合激情视频| 亚洲性色XXXXX| 婷婷天天舔| 97操操| 丁香五月综合首页| av操B网站| 99久久9| 大香蕉婷婷丁香视频在线| 日本VA视频| 欧美成人网婷婷综合在线| 天天久久人人| 久久六月天| 停停综合色色| 中文字幕不卡视频| 五月婷婷性爱视频| chaopeng在线人人| 综合色图婷婷| 免费无码毛片一区二区A片| 天天操天天曰| 五月丁香婷婷在线| 91一起艹| 97视频.干com| 五月丁香色婷婷久久| 婷婷五月激情丁香| 丁香五月婷老师| 丁香六月激情国产| 国产成人99久久亚洲综合精品| www 五月天 com| 久久亚洲精品成人无码网站导航| 亚洲夜五月| 久久婷婷五月综合97色一本| 思思热久久阴99| 无码se| 久操人妻| 久久婷婷五月天激情新地址| 91久热| 中文字幕成人| 激情五月综合视频| 激情欧美婷五月| 99热欧| 国产婷婷五月中文字幕高清| 五月婷婷综合激情| 婷婷五月天 偷拍| 伊人青草成人| 天天干天天日天天插| 九九视频免费| 五月天堂婷婷| 思思热久久婷婷五月天| 99久久久| 色天五月天在线观看视频| 久色欧美| 原琪琪色影院| 九九视频在线观看| 极品少妇高潮啪啪AV无码| 国产欧美日韩综合精品一区二区| 五月激情综合网| 嫩草AV久久伊人妇女超级A| 99热在线观看| 久久电影五月天丁香电影| 激情碰碰碰| 超碰在线94| 婷婷五月综合久久中文字幕| 五月婷色| 五月丁香啪啪激情| 四色AVwww| 久久99热这里只频精品6学生| 色综合色五月| 天天干天天干天天干| 五月天色小说| 婷婷丁香五月基地| 日本色99| 91在线日| 色婷婷丁香AV综合| 免费在线观看欧美激情xx小视频| 日本色天堂| 久色网| 天久综合91综合首页| 91综合在线观看首页| 久久久激情视频| 国产色色网址网站| 国产婷婷五月天| 99国产精品久久久久久久久久久| 五月天婷婷综合| 日韩欧美不卡| 日本97在线| 婷婷丁香人妻天久久| 综合视频五月| 色色日本| 亚洲激情网| 91在线视频观看午夜福利| 九九十99视频| 国产精品久久在线观看技巧| 久久欧洲综合网| 色色色色色色色色五月先| 无码免费人妻A片AAA毛片西瓜| 亚洲AV成人在线观看| 殴美激情综合网| 激情校园 亚洲| 97色啪| 无码人妻AV久久久一区二区三区| 色九综合| site:esunnet.com| 五月丁香另类网| 日本三级日本三级99| 亚洲愉拍99热成人精品| 婷婷六月视频| 婷婷五月天日日日干干干| 六月丁香网| 日本少妇裸体做爰高潮片 | 婷婷五月天色综合翘| 五月天婷婷爱| 久久九九国产精品怡红院| 五月婷婷丁香五月| 丁香综合伊人| 婷婷成人五月天| 丰满少妇猛烈A片免费看观看| www.99热在线| 亚洲五月婷天天操| 久久9视频欧美| 97超美国视频在线观看| 亚洲激情网| 巴基斯坦粉嫩无码视频| 久久久这里有精品| 9色在线视频精品观看| 啪啪色激情五月天| 色综合久久五月天| 综合六月久久| 激情深爱综合| 婷婷少妇激情| 91丨九色丨老熟女激情| 再綫Av免费視品| 97人妻碰碰碰久久香蕉| 嘿嘿视频免费看9| 77799热| 999激情视频| 婷婷五月精品| 69婷婷丁香午夜| 久久香蕉网| 日本99视频精品免费播放| 9999色色色色| 99在线观看精品视频| 97色女人在线| 韩国天天婷婷| 欧美情色一区| 色五月丁香五月五月婷婷| 91碰| 五月天婷婷激情在线色图| 五月天婷婷色小说| 激情小说五月天| 激情爱爱网站超大免费| 欧美VA在线| 三级毛片视频| 久久AAAA片一区二区| 婷婷色九月| 性爱人人网| 天天五月天综合网址| 激婷网| 狠狠 婷婷| 丁香婷婷影院| 色9999日韩国产| 9有码中文| 99ri视频在线观看| 婷婷五月天另类网站| 99精品成人无码A片观看金桔| 久久这里只精品66| 色色色成人网| 色欲av伊人久久大香线蕉影院| 五月天婷婷激情小说电影| www九九免费视频| 日本色婷婷五月天成人电影| 婷婷五月天av| 99色在线观看免费| 激情五月婷婷| 丁香六月久久| 操操天堂| 亚洲在线操| 五月天婷婷网站888| 婷婷免费无马| 久久精典| 天堂资源欧日浪女在线播放| 91人操| 国产成人综合在线| 97在线精品视频| 99热1| 91色操| 丁香 久久| 青青草轻轻操| 91操在线视频| 色色五月丁香婷婷| 激情骚五月| 五月丁香激情综合网| 五月婷婷黄色毛片| 丁香五月激情网| 婷婷五月天黄色网址| 99热在线中文字幕| 五月婷婷激情网| www.五月丁香| 色99亚洲| 色天堂婷婷| 久久精品66| 色吊丝av中文字幕| 国产美女视频久| 久热91| 东京热免费视频| 五月婷婷这里都是精品| 玖玖色综合色| 久狠日av| 国产精品视频| 婷婷五月天亚洲| 青草性爱视频| 变态 另类 在线 | 九九无码| 丁香五月色| 婷婷综合五月天| 激情宗合网激情五月天| 五月婷婷9| 网色99| 欧美激情 日韩无码 婷婷 五月天| 国产又黄又爽又色的免费| 日日肏天天操| www一起操| 天天操婷婷| 啪啪啪五月天| 婷婷五月六月丁香| 97在线视频观看| 日日操夜夜爽天天天| 国产特黄色精品一区二区三区精品无广告| 日狠狠| 中文字幕在线免费观看视频| 亚洲无AV在线中文字幕| 热99AV网站| 久久狠狠干| 精品无码久久久久久久久| 99热在线观看免费| 亚洲av日韩无码| 婷婷色婷婷| 色婷婷婷婷五月天| 99九九99九九九视频精彩| 五月婷婷激情网| 激情五月天www| 色五月综合在线| 婷婷五月色網站| 久久精品91视频| 99啪啪| 五月丁香六月婷婷国产视频| 综合AV在线| 男男野外做爰全过程69| 日本色爽| 激情综合网,婷婷| 亚洲在线成人| 啊v视频在线观看| 在线可以看的av网址| 99在线69| 97caop| 久99在线视频| 襙逼网| www,久久久| 狠狠ri| 激情九月综合| 丁香五月AV综合激情| 一区二区乱码视频| 美国少妇性做爰| 久久色五月| 激情综合网 激情五月天| 亚洲视频二区| 蒲京久久无码视频| www.99在线| 欧美VA在线| wwW天天干| 草草影院爱爱| 日韩成人不卡| 五月激情在线| 婷婷五月在线观看| xxx综合在线| 欧美色图45678| 99亚洲色| 久久9久| 婷婷影院A成人| www.com亚洲网站在线免费| 米奇激情婷婷| 丁香婷婷六月在线资源观看| 婷婷五月色图| 五月丁香色婷婷色| 六月天丁婷婷| 五月激情丁香五月| 久久影视婷婷五月| 欧美 色婷婷| 天天干夜晚夜操| 欧美成人va| 天天射天天射一道本日本社区| 天天爽在线视频| 99久免费视频| 草草色情综合网| 成人午夜无码视频| 9l视频自拍9l九色成人| 久久激情五月婷婷| 5月婷婷性视频| 色情·com| 久久综合干| 欧美伊人9| 久久综合九色综合88i| 最近中文字幕2019视频1| 色情五月婷婷| 久久婷丁香五月| 免费视频99| 99er6热在线观看精品6| 丁香五月婷婷成人色区| www99热| 色色五月天网站| 狠干综合| 欧美日韩国产成人在线| 婷婷香蕉精品| 99色在线| 97五月天| 色五月婷婷影院| 久热伊人| 丁香五月综合婷婷| 天天日天天插| 丁香婷婷激情五月天无毒不卡蜜桃| 天天日天天日天天搞| 影音先锋激情网| 五月婷婷新网站| 九九热亚洲中文在线观看免费| 色碰碰| 狼人婷婷综合| 操逼六区| 久久九九国产精品怡红院| 五月成人网天天| 操逼在线视频| 日日操,夜夜撸| 久热这里精品免费| 婷婷丁香五月激情中文字幕版| 99色视频| 五月丁香怕啪啪| 久久婷婷五月国产色综合激情| 在线中文字幕视频| 精品久久99| 99色色爰| 高潮毛片遮挡费高一百度| 五月丁香六月香香蕉| 日韩啪啪网| AV中文在线| 激情五月综合色| 凹凸7777操操操| 人妻操逼| 综合激情综合啪啪| 久久思思热视频| 丁香六月激情网C0W| 亚洲视频伍月婷婷| 啄木鸟丝袜美女福利视频| 色五月婷婷综合| 蜜臀99精品| 伊人狠狠丁香婷婷综合尤物| 日本三级日本三级99| 久久九九综合| 亚洲成人免费在线| AV片一区在线观看| 亚洲av电影在线| 丁香婷婷综合喷| 9热在线视频| 曰曰久久| 久久丁香五月综合六月激情红杏视频| www.粉嫩av.com| 婷婷五月天深爱| 99热精品免费在线观看| 丁香婷婷五月| 色综合久久天天综合网| www.minyis.com【JT】实力收量可预付QQ2101460746 | 99自拍网| 996er热| 97一区二区| 人妻激情网| 97香蕉久久超级碰碰高清版| 五月天综合缴情网网站0| 五月天婷婷激情小说| 婷婷五亚洲| 六月丁AV| 亚州操操| 综合网色| 1024在线一区| 色婷亚洲| 永久无码色| 丁香六月激情综合网| 五月丁香六月婷婷国产视频| 九九热免费视频| www.久久| www婷婷色| 欧美人人女女精品综合五月天| 久热综合| 色性日本| 香焦网五月天| 91碰碰| 99视频极品在线香蕉| 久久网日本| 狠狠肏综合网| 五月丁香婷婷欧美| 99热都是精品| 色九四色| 色婷婷色99国产综合精品| 色五月天成人在线| 色婷婷六月| 久久精品99国产精品日本| 免费看片在线观看| 依人大香蕉| 五月激情偷拍| 九九九九国产| 秋霞少妇AV网站| 情色五月天网站| 国产精品色色色色| 色日本综合| 婷婷五月天伊人| 97在线日韩| 五月天色色激情综合| 开心色五月天久久久久久久| 99在线精品免费视频| 婷婷视频在线碰| 五月天婷婷激情网| 六月丁香社区| 丁香五月偷拍| 婷婷影院欧美| 梁铮版蜘蛛女在线观看| 色五月婷婷影院| 天天综合精品| 久久综合播放| 五月婷婷在线网站| 丁香六月在线| 综合精品啪啪| 精品婷婷五月视| 色丁香婷婷| 老师高潮流白浆喷水的A片| 五月激情综合网| 色五月婷婷影院| 99热思思| 欧美日本国产欧美日本韩国99| 毛片新网地| 99免费热视频在线| 亚洲热久| 综合网五月天123| 久久性爱视频网站| 久久99日本精品视频免费观看| 四色 爱 婷婷 精品 亚洲 五月天| 99热丁香| 久久全意婷婷| 美女天天艹人人爽| 蜜臀av粉嫩av懂色av| 久久男人网婷婷| 婷婷五月蜜桃成人桃色丁香| 丁香五月色网| 丁香六月欧美| 久久五月天黄色五月天色网址| 粉嫩av蜜桃av蜜臀av| 成人网站高清无码| 九九九成人在线视频| 99A片| 日韩在线视频网站| 婷婷涩涩五月天| 丁香五月婷婷av影院| 婷婷五月蜜桃成人桃色丁香| 丁香五月手机在线| 久久精品噜噜噜成人A∨色欲 | 欧美日本日韩| 国产日批视频免费播放| 日韩超碰在线| 久久五月婷婷视频| 操射国产日本| 国产精品成人AV在线观看春天| 色欲人妻综合aaaaaaaa网| 久久婷婷久久| 婷婷激情五月天激情小说| 婷婷五月天激情视频| 99久久婷婷| 99久在线精品| 丁香五婷婷| 色婷九九九| 色偷偷色婷婷| 超碰免费观看| 在线A色| 超碰只有精品在线| 久久久久综合激动五月天| 久久色情| 五月久久五月激情| 久月婷婷| 99在线热| 久热综合| 日本97在线| 99狠狠操一| www.精品久9| 日韩aaaaa| 99热精品超碰| 五月激情六月综合| 色很久综合| 色 色 色综合com| 色九九丁香九月色九九色| 婷婷婷婷色| 丁香久久激情俄| 开心五月婷婷婷美女| 偷偷操九九| 丁香婷婷激情五月天无毒不卡蜜桃| 加勒比久热| 99热精品中文字幕| 五月婷婷六月丁香首页| 日本九婷婷| 人人叉久| 久操97| 色天堂在线| 99热99在线| 99精品久久| 日本一级一级一级一级| 亚洲色爽| 202丰满熟女妇大| 深爱五月亚洲| 中文婷婷狠狠| 亚洲色热| 久99久热| 久久丁香五月婷婷| 做爱夜夜干天天操| 乱精品一区字幕二区| 五月天色婷好好| 亚洲中文字幕在线观看| 色五月婷婷少妇人妻| 202丰满熟女妇大| 五月丁香六月婷综合成人综合| 操逼综合激情网| 五月天偷拍| 色婷婷久久综合久色综| 色欲天天综合| 五月婷五月婷伊人伊人五月婷| 狠狠综合网| 天天爽天天透天天爱| 伊人天堂婷婷| 九九热大香蕉| 婷婷八月激情| 色狠狠综合| 99成人免费视频| 69综合在线| 九九99精品视频在线观看| 日本本土色网第一区| 久久婷婷五月天激情新地址| 天天婷婷色六月| 国产97色在线 | 日韩| 99色色视频| 五月天久久www| 色欲色香,www,com| 欧美人人操| 亚洲色情免费网| 精品九九久久| 日韩 中文 欧美| www.99热最新视频8| 婷婷五月综合基地| 99狠狠| 欧美久久五月婷婷| 久久久久9久无码视频| 97人妻碰碰碰久久香蕉| 婷丁香久综合| 伊人超碰在线| 激情四射五月天| 九月丁香婷婷| 人妻免费网站| 婷婷99视频精品| 亚洲精品乱码久久久久99| 色五月美女| 久久婷婷啪啪视频| 69激情小说| 天堂久久性| 99re热视频这里只精品| 五月天亚洲色| 婷丁五月| 9色天堂| 99热在线观看免费精品| 热久久国产视频| 色五月婷婷在线| 99精品视频在线观看| 99综合视频| 色综合播放| 色婷婷女优有码五月亭| www.99视频| 日本人人xxx| 26uuu四色| 97人妻碰碰碰碰碰久久久久久| 大香蕉综合| 色欲一二三| 插插干干干色| 色婷婷色九月| 日日干日日| 五月花婷婷| 天天摸,天天爽| 91人人超碰在线| 久99999热视频在线观看免费| 丁香久久久| 色综合色五月| www.lingjunshare.com| 色婷婷激情| 大香焦啪啪啪| 97人人超| 玖玖婷婷五月天| 99 色色吧| 五月丁香激情怕怕| 五月婷婷香蕉视频| 伊人五月天在线| www.99情趣网| 五月综合亚洲| 综合色五月| 97操在线资源| 黑人糟蹋人妻HD中文字幕| 久久女人天堂| 婷婷丁香五月综合激情小说| 五月丁欧美| 五月婷婷九| 亚洲中文AV| 99久在线精品99re8热| 色丁香影院| 丁香婷婷人妻综合网| 337p大胆噜噜噜噜噜91Av| 色丁香五月婷婷综合久久| 少妇搡BBBB搡BBB搡毛茸茸| 狠狠五月激情丁香六月| 五月婷婷视频ab|