欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

AI芯片軟硬件協(xié)同設(shè)計(jì):有效算力、編譯器與部署實(shí)戰(zhàn)

AI芯片軟硬件協(xié)同設(shè)計(jì):有效算力、編譯器與部署實(shí)戰(zhàn) 做了幾代 AI 芯片的軟硬件協(xié)同設(shè)計(jì)之后我最大的一個(gè)感受是“AI 芯片”這四個(gè)字本身就很容易讓人跑偏。做一顆能跑模型的芯片并不難難的是讓模型在真實(shí)負(fù)載下跑出接近標(biāo)稱算力的成績而這背后幾乎全是軟硬件接口的問題。這個(gè)系列前兩篇聊過宏觀的架構(gòu)輪廓和工具鏈布局這篇“3”想再往下鉆一層把 AI 芯片軟硬件設(shè)計(jì)中最容易被忽略、卻最能決定項(xiàng)目成敗的幾個(gè)環(huán)節(jié)攤開講有效算力與峰值算力的差距、架構(gòu)路線取舍、指令集與內(nèi)存模型、編譯器在整個(gè)項(xiàng)目里的位置、芯片回來之前的軟硬件聯(lián)調(diào)以及部署階段繞不開的量化、稀疏化和 Runtime 閉環(huán)。這篇東西不是科普稿也不是給投資人看的 PPT。它更適合真正在做 AI 芯片或準(zhǔn)備做 AI 芯片的人芯片前后端工程師、編譯器/工具鏈開發(fā)者、驅(qū)動(dòng)與 Runtime 工程師以及需要做 AI SoC 選型評估的架構(gòu)決策者。很多內(nèi)容是我在實(shí)際項(xiàng)目里踩過的坑寫著寫著可能有點(diǎn)直白但確實(shí)是想讓后來的人少走彎路。1. 有效算力與峰值算力之間的鴻溝AI 芯片性能兌現(xiàn)的真正戰(zhàn)場先拋一個(gè)反直覺的結(jié)論AI 芯片的賬面算力TOPS在發(fā)布 PPT 上有多漂亮和最終用戶在真實(shí)模型上跑出來的吞吐量完全是兩碼事。做了三代產(chǎn)品之后我對團(tuán)隊(duì)里的硬件工程師說得最多的一句話是“你們的 KPI 不是 TOPS是用戶在真實(shí)網(wǎng)絡(luò)上的有效算力?!币?yàn)閺挠布O(shè)計(jì)到軟件完全跑起來中間隔著三道坎片外帶寬夠不夠喂飽計(jì)算陣列、算子形狀能不能貼合硬件的數(shù)據(jù)流、編譯器和驅(qū)動(dòng)有沒有把指令調(diào)度到最優(yōu)。這三道坎任何一道沒跨過去賬面算力就得打個(gè)對折甚至三折。1.1 賬面算力與實(shí)測吞吐一個(gè)典型 NPU 的真實(shí)寫照舉一個(gè)很常見的例子。一款設(shè)計(jì)目標(biāo)為 16TOPS INT8 算力的 NPUPE 陣列是 32x64 的 MAC 陣列主頻 1GHz配套 DDR4-3200理論帶寬約 25.6GB/s。這種規(guī)格在規(guī)格表上挺能打但我在類似平臺(tái)上跑過 ResNet-50實(shí)測吞吐往往只有標(biāo)稱的 40%-60%也就是 6-9TOPS 的有效算力。如果跑 Transformer 類的模型情況只會(huì)更難看因?yàn)?attention 里面的 QKV 投影、softmax、LayerNorm 這些算子形狀極不規(guī)則硬件利用率掉到 30% 以下都常見。差距去哪了很多時(shí)間根本沒有花在“計(jì)算”上而是花在“等數(shù)據(jù)”上。PE 陣列在片內(nèi)等著一塊塊 weight 和 feature map 從 DDR 里被搬進(jìn)來片內(nèi) SRAM 容量就那么大搬一次算一會(huì)兒算完再搬下一塊計(jì)算陣列真正滿負(fù)荷工作的時(shí)間占比低得可憐。用開車來類比就是高速路段設(shè)計(jì)時(shí)速 120但上下匝道只有一個(gè)車道你實(shí)際平均時(shí)速可能連 40 都不到——而這個(gè)“匝道”就是 SRAM 容量和 DDR 帶寬共同決定的訪存瓶頸。1.2 內(nèi)存墻堆算力越猛帶寬越先到頭為什么帶寬會(huì)比算力更早卡住用一次簡單卷積的手工估算就能說明白。假設(shè)一個(gè) 3x3 卷積層輸入是 128 通道的 56x56 feature map輸出也是 128 通道。計(jì)算量大約是56x56x128x128x3x3x2約 9 億次 FLOPs。這個(gè)量級對 16TOPS 的 NPU 來說理想情況下 0.06 秒就跑完。但如果每個(gè)算子計(jì)算完都把中間結(jié)果寫回 DDR下一層再讀進(jìn)來那么一次完整的 layer 讀寫就要搬運(yùn) 2x56x56x128 字節(jié)約 1.6MB整個(gè)網(wǎng)絡(luò)幾十上百層累加起來訪存數(shù)據(jù)量會(huì)膨脹到計(jì)算量的幾十倍。在 25GB/s 的帶寬下光搬數(shù)據(jù)就足夠把推理時(shí)間拖垮。所以做 AI 芯片架構(gòu)選型時(shí)第一優(yōu)先級不是把 MAC 陣列堆多狠而是把“每層計(jì)算需要從片外拿多少數(shù)據(jù)、中間結(jié)果能不能留在片上”算清楚。真正的優(yōu)化主戰(zhàn)場包括片上 SRAM 容量怎么分配、多級緩存/片上 Buffer 怎么設(shè)計(jì)、數(shù)據(jù)復(fù)用率能不能提上去以及 DMA 引擎能不能在計(jì)算的同時(shí)把下一塊數(shù)據(jù)預(yù)取進(jìn)來。這些軟硬件協(xié)同的細(xì)節(jié)才是有效算力的真正來源。1.3 算子形狀與硬件規(guī)則的錯(cuò)位被低估的第三種損耗帶寬不是唯一瓶頸。深度神經(jīng)網(wǎng)絡(luò)的計(jì)算形狀非常雜1x1 卷積本質(zhì)上是矩陣乘但 3x3 卷積是 im2col 或直接卷積depthwise 卷積每個(gè)通道單獨(dú)處理group conv 又要在通道維度分組attention 里還要做各種 gather/scatter 和動(dòng)態(tài) shape。這些形狀落在固定尺寸的 PE 陣列上時(shí)會(huì)產(chǎn)生大量 padding、補(bǔ)零、低利用率的小算子。我在一次適配 YOLO 系列模型時(shí)就踩過這個(gè)坑。目標(biāo)檢測網(wǎng)絡(luò)里有一些很小的分支層比如 1x1 conv 輸出通道只有 16而 PE 陣列一次處理 64 通道結(jié)果就是硬件為了喂?jié)M陣列不得不把多個(gè)不相關(guān)的通道拼在一起算或者干脆空轉(zhuǎn)。這類損耗在純 GEMM 基準(zhǔn)測試?yán)锿耆床怀鰜淼慌苷鎸?shí)網(wǎng)絡(luò)就原形畢露。所以做芯片架構(gòu)設(shè)計(jì)時(shí)最忌諱只看理論峰值一定要拿目標(biāo)負(fù)載里的真實(shí)算子分布做一遍映射統(tǒng)計(jì)。硬件是為數(shù)據(jù)和算子服務(wù)的不是為浮點(diǎn)峰值服務(wù)的。2. 架構(gòu)路線的岔路口脈動(dòng)陣列、SIMT 與可重構(gòu)數(shù)組聊完性能差距的來源必然會(huì)走到架構(gòu)選擇這個(gè)問題上。AI 芯片最常見的三種路線——SIMT 風(fēng)格GPU 式、脈動(dòng)陣列風(fēng)格TPU 式、可重構(gòu)數(shù)據(jù)流風(fēng)格CGRA——各有各的脾氣選擇哪條基本決定了后面編譯器、驅(qū)動(dòng)和 Runtime 要付出多大的代價(jià)。很多人以為選型就是看算力密度實(shí)際上選型選的是“軟件棧的未來成本”。我見過不止一個(gè)項(xiàng)目最初選了一個(gè)看起來算力密度最高的架構(gòu)做了一年發(fā)現(xiàn)編譯器根本駕馭不了最后被迫砍掉一半功能。這一節(jié)把三種路線放在一起對比重點(diǎn)講它們對軟硬件協(xié)同設(shè)計(jì)的影響。2.1 SIMT 的隱藏延遲策略在 AI 推理場景的錯(cuò)位GPU 式 SIMT 架構(gòu)的思路是用大量線程并行來隱藏訪存延遲一個(gè) warp 在等內(nèi)存數(shù)據(jù)時(shí)調(diào)度器立刻切換到另一個(gè) warp。這種設(shè)計(jì)對大規(guī)模并行計(jì)算非常有效訓(xùn)練場景下尤其是這樣大批量、大矩陣GPU 幾乎能把計(jì)算陣列喂得滿滿的。但推理場景往往 batch 很小甚至 batch1。此時(shí) GPU 的大量線程切換機(jī)制、shared memory 同步、warp 調(diào)度器本身的功耗和面積開銷反而成了負(fù)擔(dān)。比如做端側(cè)推理時(shí)經(jīng)常出現(xiàn)一個(gè)算子只啟動(dòng)了 8 個(gè)線程做 elementwise 操作但整套調(diào)度器和多級緩存仍然要全功率待命能效比自然很難看。不是說 SIMT 不好而是要用對地方它適合做“大而整齊”的工作不適合“小而雜”的推理負(fù)載。2.2 脈動(dòng)陣列讓數(shù)據(jù)在 PE 之間流動(dòng)換掉隨機(jī)訪存脈動(dòng)陣列是另一種極端把一組 PE 按照規(guī)律連起來數(shù)據(jù)像流水線一樣從一端流入每個(gè) PE 只和自己的鄰居交換數(shù)據(jù)避免了對片內(nèi)多端口隨機(jī)讀寫的依賴。這個(gè)思路在能效和面積效率上表現(xiàn)極佳因?yàn)槟悴恍枰o每個(gè) PE 配獨(dú)立的寄存器文件和讀取端口數(shù)據(jù)復(fù)用基本靠流動(dòng)實(shí)現(xiàn)。但脈動(dòng)陣列有它的剛性陣列維度固定每個(gè) PE 的運(yùn)算寬度固定遇到非常規(guī)形狀的算子就需要做大量邊界處理。最典型的是 attention 里的 softmax 和 LayerNorm這些算子計(jì)算非常簡單但它們在數(shù)據(jù)流里的位置決定了陣列很難用脈動(dòng)方式覆蓋——你必須把數(shù)據(jù)從陣列里倒騰出來做這些操作再送回去。所以脈動(dòng)陣列設(shè)計(jì)多了一條潛規(guī)則重點(diǎn)服務(wù) GEMM 類算子其余雜算子交給旁邊的小向量單元。沒有這條配合整顆芯片的實(shí)際使用率會(huì)很難看。2.3 CGRA 的野心與代價(jià)靈活性的錢從編譯器那里出CGRA粗粒度可重構(gòu)數(shù)組的思路更激進(jìn)配置 PE 之間的互聯(lián)拓?fù)鋪砥ヅ洳煌阕?。理論上它為每個(gè)算子都能生成最適合的數(shù)據(jù)流結(jié)構(gòu)靈活性比固定脈動(dòng)陣列高得多。但問題在于配置空間爆炸式增長最優(yōu)映射是 NP-hard 級別的搜索問題最終都得靠編譯器和調(diào)度器來兜底。我接觸過的 CGRA 項(xiàng)目都有同一個(gè)特點(diǎn)硬件看起來驚艷軟件團(tuán)隊(duì)苦不堪言。因?yàn)榫幾g器要從巨大的配置空間里找到一個(gè)接近最優(yōu)的解同時(shí)還要保證時(shí)序、端口和 Buffer 沒有沖突編譯時(shí)間動(dòng)不動(dòng)以小時(shí)計(jì)。對于面向市場交付的 AI 芯片團(tuán)隊(duì)這幾乎是不可能接受的工程體驗(yàn)。現(xiàn)實(shí)的做法往往是 CGRA 和固定算子單元混著來用一小塊可重構(gòu)陣列覆蓋雜算子用固定流程的 MAC 陣列覆蓋主力 GEMM。想明白這一點(diǎn)很多架構(gòu)爭論其實(shí)可以提前畫上句號(hào)。3. 指令集與內(nèi)存模型NPU 的“憲法”和“土地制度”架構(gòu)路線定了接下來要解決的是指令集和內(nèi)存模型。這是軟硬件協(xié)同設(shè)計(jì)中最像“立憲”的環(huán)節(jié)指令集規(guī)定了軟件能用哪些能力內(nèi)存模型規(guī)定了數(shù)據(jù)怎么在系統(tǒng)中流動(dòng)。這兩件事定了編譯器和硬件團(tuán)隊(duì)就分頭干活了后面再想改代價(jià)非常大。反復(fù)強(qiáng)調(diào)這個(gè)是因?yàn)樵趯?shí)際項(xiàng)目里指令集設(shè)計(jì)經(jīng)常被壓縮到很短的周期導(dǎo)致后面編譯器團(tuán)隊(duì)叫苦連天。反過來內(nèi)存模型選擇失誤的話后期性能調(diào)優(yōu)幾乎沒有空間。3.1 顯式搬運(yùn)與隱式緩存兩條很難回頭的設(shè)計(jì)路線內(nèi)存模型有兩個(gè)基本選項(xiàng)。第一種是顯式搬運(yùn)模型軟件主要是編譯器負(fù)責(zé)控制 DMA 把數(shù)據(jù)從 DDR 搬進(jìn)片上 SRAM算完了再搬回去類似 DSP 的做法。第二種是隱式緩存模型硬件里做一個(gè)帶 cache 一致性的緩存層次軟件像訪問普通內(nèi)存一樣訪問數(shù)據(jù)硬件自動(dòng)維護(hù)。顯式搬運(yùn)模型的優(yōu)點(diǎn)是性能確定、可預(yù)測——你知道每個(gè)時(shí)鐘周期數(shù)據(jù)在哪里編譯器可以做出精確調(diào)度缺點(diǎn)是把大量負(fù)擔(dān)壓在編譯器上工具鏈一旦做得不好就是災(zāi)難。隱式緩存模型軟件寫起來輕松但硬件要處理緩存命中率、一致性協(xié)議而且遇到不規(guī)則訪存時(shí)性能波動(dòng)非常大沒法給編譯器一個(gè)穩(wěn)定的調(diào)度依據(jù)。我做設(shè)計(jì)時(shí)更傾向于顯式搬運(yùn)模型因?yàn)?AI 算子的訪存模式在編譯期大部分是可靜態(tài)分析的。數(shù)據(jù)在哪里、什么時(shí)候需要、什么時(shí)候?qū)懟鼐幾g器都能算出來這正是顯式搬運(yùn)模型的舒適區(qū)。而隱式緩存看著對軟件友好真實(shí)做下來容易演變成“硬件團(tuán)隊(duì)省了事性能永遠(yuǎn)到不了位”。3.2 標(biāo)量、向量、矩陣三級指令NPU 的職責(zé)切分無論走哪條路線NPU 指令集通常拆成三級。標(biāo)量指令負(fù)責(zé)控制流、地址計(jì)算、循環(huán)計(jì)數(shù)和同步一個(gè) for 循環(huán)展開成幾條標(biāo)量指令告訴下一個(gè)計(jì)算單元“現(xiàn)在該算這組數(shù)據(jù)了”。向量指令負(fù)責(zé)逐元素操作ReLU、sigmoid、elementwise add、normalize 這些它們不是矩陣乘但數(shù)量極多如果沒有專用向量指令編譯器只能拿矩陣單元硬湊效率非常低。矩陣指令則是整個(gè)芯片的算力核心負(fù)責(zé) GEMM/GEMV通常對應(yīng)一個(gè)或多個(gè)專用計(jì)算陣列。這三級的調(diào)度配合很關(guān)鍵。我見過一個(gè)早期項(xiàng)目沒有獨(dú)立向量單元所有激活都靠矩陣單元做 matmul 形式計(jì)算結(jié)果是資源利用率低、功耗還高。后來加了向量單元整個(gè)模型性能提升了 30% 以上。做指令集設(shè)計(jì)時(shí)千萬不要只盯著矩陣乘去統(tǒng)計(jì)一下目標(biāo)網(wǎng)絡(luò)里 elementwise 和 reduction 類操作的占比結(jié)果會(huì)讓你吃驚。3.3 寄存器視圖的一致性是軟硬件協(xié)同的第一份合同指令集定好了緊接著就是寄存器視圖。寄存器列表在工程上就是軟硬件團(tuán)隊(duì)之間的“合同”硬件按這個(gè)實(shí)現(xiàn)軟件按這個(gè)編程。但實(shí)際項(xiàng)目里寄存器視圖是最容易產(chǎn)生分歧和 bug 的地方。典型問題有三種一是地址對齊軟件按 32 位寫了某個(gè)控制位硬件實(shí)現(xiàn)時(shí)按字節(jié)處理結(jié)果位錯(cuò)位二是位域更新時(shí)序軟件寫完配置寄存器立即去讀狀態(tài)寄存器但硬件還沒同步完讀回來的值還是舊的輪詢永遠(yuǎn)超時(shí)三是中斷狀態(tài)位沒有在硬件側(cè)做“讀清除”或“寫 1 清除”軟件讀完后狀態(tài)不自動(dòng)拉低中斷風(fēng)暴直接掛死系統(tǒng)。我的建議非常直白用統(tǒng)一的寄存器描述文件例如 IP-XACT 或 SystemRDL作為唯一事實(shí)來源從它同時(shí)生成 RTL、頭文件和文檔。這樣從源頭消除“文檔和實(shí)現(xiàn)不一致”的問題。這個(gè)習(xí)慣一定要在項(xiàng)目第一天建立否則等芯片流片回來再靠人工對文檔你會(huì)在驗(yàn)證階段浪費(fèi)掉幾個(gè)月的窗口期。4. 沒有編譯器就沒有護(hù)城河從 PyTorch 到芯片上的二進(jìn)制很多做 AI 芯片的團(tuán)隊(duì)把大部分精力放在 RTL 上編譯器團(tuán)隊(duì)反而是后媽養(yǎng)的。在我看過的項(xiàng)目里凡是這么做的基本都后悔了。AI 芯片的競爭力不是裸片面積小、主頻高而是工具鏈能讓用戶模型在上面的有效算力逼近理論值。硬件只是上限編譯器才決定了用戶實(shí)際能摸到什么水位。編譯器不是“把 PyTorch 模型轉(zhuǎn)成二進(jìn)制”這么簡單。它掩蓋了一整條流水線模型導(dǎo)入、圖優(yōu)化、算子融合、算子映射、指令調(diào)度、內(nèi)存規(guī)劃、代碼生成。每一環(huán)都直接和前面的指令集、內(nèi)存模型、陣列拓?fù)漶詈稀?.1 算子融合把反復(fù)進(jìn)出 DDR 的中間結(jié)果留在片上算子融合是編譯器里收益最明顯、也最見功力的優(yōu)化。舉一個(gè)最簡單的例子卷積 Bias ReLU 池化。如果不做融合每一層算子都要把中間結(jié)果寫回 DDR然后再讀出來做下一層一個(gè)字節(jié)的中間結(jié)果來回要付兩次訪存的錢。融合之后整條鏈在片上 SRAM 里一氣呵成DDR 只需要讀寫最終輸出。實(shí)測里同一個(gè)模型在融合前后的推理耗時(shí)差距經(jīng)常超過 30%-50%這個(gè)數(shù)字不是理論推導(dǎo)是我在項(xiàng)目里實(shí)測出來的。編譯器團(tuán)隊(duì)要做的是在 IR 層面識(shí)別這種算子鏈然后在后端把它們映射到同一條硬件流水線。為此硬件設(shè)計(jì)階段就要預(yù)留 fusing 的能力片上 Buffer 能不能串聯(lián)、DMA 能不能一次搬多塊數(shù)據(jù)、Ping-Pong 緩存能不能在計(jì)算的同時(shí)預(yù)取下一塊。這些都是軟硬件協(xié)同中的“契約”編譯器單方面做不來。4.2 靜態(tài)內(nèi)存規(guī)劃與指令調(diào)度替硬件做一張精確時(shí)間表AI 模型編譯期靜態(tài)分析的優(yōu)勢在于數(shù)據(jù)的生命周期基本是已知的。編譯器可以提前算出來每一塊 feature map 什么時(shí)候被產(chǎn)生、什么時(shí)候被消費(fèi)、什么時(shí)候可以被回收然后為整個(gè)網(wǎng)絡(luò)排出一張 DDR 與 SRAM 之間的搬運(yùn)時(shí)間表。實(shí)際工程里這一步會(huì)涉及給片上 SRAM 分區(qū)比如配置 buffer 區(qū)、計(jì)算輸入?yún)^(qū)、輸出暫存區(qū)、參數(shù)區(qū)還要為每個(gè) DSP/DMA 通道分配優(yōu)先級避免同一個(gè)時(shí)間點(diǎn)多個(gè)搬運(yùn)請求搶占帶寬。最簡單也最見效的技巧是 double buffering計(jì)算第 N 塊數(shù)據(jù)的同時(shí)DMA 預(yù)取第 N1 塊這樣計(jì)算陣列永遠(yuǎn)不餓肚子。但要小心依賴沖突——如果第 N1 塊的數(shù)據(jù)是第 N 塊算出來的你沒法預(yù)取只能老老實(shí)實(shí)按順序執(zhí)行編譯器調(diào)度時(shí)要把這類數(shù)據(jù)依賴關(guān)系先算清楚。早期項(xiàng)目里我用過一個(gè)笨辦法先在周期級模擬器上測出每個(gè)算子的跑分再把這些算子作為節(jié)點(diǎn)做 list scheduling。這個(gè)過程很像排課表每個(gè)算子占用的資源不同數(shù)據(jù)依賴又給它們排了先后誰先誰后、哪個(gè)資源并行利用調(diào)度器在幾萬次約束里找出一個(gè)可行的排程。編譯器做到這一步才叫真正開始兌現(xiàn)硬件能力。4.3 給 LLM 做適配的真實(shí)體驗(yàn)頭疼的往往不是 GEMM最近兩年所有 NPU 工具鏈都被一個(gè)現(xiàn)實(shí)逼著做轉(zhuǎn)型給 LLM 做適配。一開始很多人以為 LLM 的主角是巨型 GEMM把 GEMV 和 GEMM 優(yōu)化好就足夠了。實(shí)際做下來你會(huì)發(fā)現(xiàn)最耗時(shí)間的都是“雜活”attention 的 QKV 投影之前要做一堆 reshape 和 transposepadding 和 mask 操作在圖上到處都是softmax 里要對整行做 max-subtract-exp-sumLayerNorm 要對均值方差做歸一還有 KV cache 的索引與追加。這些算子單獨(dú)看都不大但數(shù)量多、形狀交互復(fù)雜最容易把編譯器的優(yōu)化徹底打亂。另一個(gè)難啃的點(diǎn)是動(dòng)態(tài) shape。LLM 推理時(shí)序列長度是動(dòng)態(tài)的KV cache 大小也隨輪次變化這直接挑戰(zhàn)了編譯器“靜態(tài)分析一切”的根基。為了支持動(dòng)態(tài)長度編譯器不能把所有 buffer 都按最大尺寸靜態(tài)分配否則片上內(nèi)存會(huì)爆炸也不能每一步都重新做地址計(jì)算否則調(diào)度開銷會(huì)失控?,F(xiàn)在相對穩(wěn)妥的做法是分層分塊給批量尺寸做靜態(tài)規(guī)劃給序列長度留動(dòng)態(tài)余量再用運(yùn)行時(shí)指令搬運(yùn)和地址重計(jì)算來兜底。這個(gè)方向還在快速演進(jìn)但有一點(diǎn)已經(jīng)非常清楚給 LLM 做適配工具鏈團(tuán)隊(duì)的工作量遠(yuǎn)超想象絕不是“跑通一個(gè) GEMM Kernel”就夠的。5. 芯片還沒回來軟件棧也得先轉(zhuǎn)起來虛擬原型與最小系統(tǒng)調(diào)試說完了編譯器接著聊一個(gè)在進(jìn)度壓力下特別容易被擠掉、但真正決定流片后能否快速 bring-up 的環(huán)節(jié)芯片回來之前的軟硬件聯(lián)調(diào)。流片周期長芯片從 tapeout 到 sample 回來往往要幾個(gè)月而你可能需要在芯片回來當(dāng)天就跑通一個(gè) demo給老板和客戶交代。等樣品到了才開始搞軟件棧幾乎必然翻車。這里的經(jīng)典做法是在 RTL 還沒凍結(jié)之前就搭一套虛擬原型和一個(gè)最小硬件調(diào)試系統(tǒng)讓軟件團(tuán)隊(duì)提前把驅(qū)動(dòng)、Runtime 和關(guān)鍵算法調(diào)通。5.1 虛擬原型把“芯片回來之后”的軟件工作提前幾個(gè)月虛擬原型就是用 SystemC/TLM 這類方式把 SoC 和 NPU 的關(guān)鍵行為做成寄存器級/事務(wù)級模擬模型。它跑不了太大規(guī)模的數(shù)據(jù)但寄存器讀寫、中斷觸發(fā)、DMA 搬運(yùn)這些控制流語義是可以模擬出來的。有了虛擬原型驅(qū)動(dòng)團(tuán)隊(duì)可以在真實(shí)芯片回來之前就把設(shè)備枚舉、中斷處理、DMA 配置、寄存器讀寫的代碼寫好并調(diào)通編譯器團(tuán)隊(duì)也可以把編譯產(chǎn)物先灌進(jìn)去做功能驗(yàn)證。必須誠實(shí)說清楚它的局限虛擬原型不是周期精確的模擬器跑性能分析和功耗分析基本不靠譜。它只適合驗(yàn)證“控制流對不對”不適合驗(yàn)證“性能有多快”。所以在用虛擬原型時(shí)我會(huì)單獨(dú)搭一個(gè)輕量的周期級模擬器專門給編譯器做性能回歸。兩者分開用效率最高。5.2 寄存器與中斷的驗(yàn)證盲區(qū)聯(lián)調(diào)時(shí)踩得最深的坑做軟硬件聯(lián)調(diào)這些年我見過太多了寄存器視圖問題在真實(shí)芯片回來后集中爆發(fā)。最典型的場景軟件驅(qū)動(dòng)往 DMA 控制寄存器里寫完描述符地址就把啟動(dòng)位置 1然而硬件側(cè)是先讀啟動(dòng)位再取描述符地址。如果順序反了第一輪搬運(yùn)拿到的是空描述符DMA 直接卡死中斷永遠(yuǎn)不來。這類問題在 RTL 仿真里往往能被發(fā)現(xiàn)但如果驗(yàn)證環(huán)境只做定向測試很容易漏掉。另一個(gè)高發(fā)坑是中斷狀態(tài)位不清零。有些硬件把中斷狀態(tài)寄存器設(shè)計(jì)成“只需讀不需要清”但實(shí)際上中斷源會(huì)持續(xù)拉高CPU 進(jìn)入 ISR 后讀了狀態(tài)位中斷信號(hào)還沒掉一退出又立刻觸發(fā)整個(gè)系統(tǒng)空轉(zhuǎn)在中斷風(fēng)暴里。最有效的工程防護(hù)是在硬件里加一個(gè)測試模式寄存器允許軟件強(qiáng)制置位或清零中斷源這樣驅(qū)動(dòng)開發(fā)時(shí)就可以自主制造和消除中斷而不用每次都求硬件團(tuán)隊(duì)改 RTL。5.3 裸片點(diǎn)亮第一階段最小系統(tǒng)三板斧芯片 sample 回來以后軟件 bring-up 別急著跑模型。我在多個(gè)項(xiàng)目里驗(yàn)證過最有效的順序是先過一個(gè)“最小系統(tǒng)三板斧”第一板斧剪斷一切不必要的上電分支把最小系統(tǒng)需要的電源域、時(shí)鐘域整理干凈確保 CPU 能穩(wěn)定跑起來、JTAG 能連上。第二板斧確認(rèn)系統(tǒng)時(shí)鐘和復(fù)位很多上電不穩(wěn)的問題都表現(xiàn)為寄存器讀回全是 0 或者全是 0xFFFFFFFF跑一遍地址自檢就能定位。第三板斧拿一個(gè)最簡單的裸機(jī) demo 驗(yàn)證“搬運(yùn)-計(jì)算-寫回”三步往片上 SRAM 寫一塊數(shù)據(jù)讓 DMA 從一個(gè)地址搬到另一個(gè)地址再把結(jié)果讀回來對比。另外特別提醒上電初期一定要考慮看門狗的問題。我看過不止一次整個(gè)系統(tǒng)一直在被看門狗復(fù)位軟件怎么查都覺得硬件壞了最后發(fā)現(xiàn)是默認(rèn)看門狗超時(shí)時(shí)間設(shè)置得太短代碼還沒跑起來就又被復(fù)位了。先把看門狗關(guān)掉等最小系統(tǒng)驗(yàn)證通過再打開并配置正確的喂狗策略。這幾步走順之后再把編譯器生成的第一個(gè) model checkpoint 跑起來這樣的 bring-up 路徑基本不會(huì)出大岔子。6. 部署最后一公里量化、稀疏化與 Runtime 閉環(huán)芯片能跑模型了但離“用戶真正部署”還有最后一公里模型太小、內(nèi)存放不下、延遲下不來需要量化網(wǎng)絡(luò)里有大量冗余需要稀疏化硬件能力最終要通過 Runtime 和驅(qū)動(dòng)暴露給用戶需要把整個(gè)閉環(huán)打通。這一節(jié)聊的幾個(gè)話題都是我在部署真實(shí)客戶模型時(shí)反復(fù)踩過坑的地方。6.1 INT8 量化從 FP32 到定點(diǎn)不是丟精度而是重建分布量化本質(zhì)上不是“把小數(shù)點(diǎn)砍掉”而是在目標(biāo)硬件支持的精度空間里重建數(shù)據(jù)的分布。最主流的兩種做法是 PTQ訓(xùn)練后量化和 QAT量化感知訓(xùn)練。PTQ 的優(yōu)點(diǎn)是省事拿一組代表性數(shù)據(jù)統(tǒng)計(jì)每一層激活值的 min/max 或分布直方圖然后用 KL 散度或 MSE 找一個(gè)盡量保住信息的 scale有些硬件還有 zero point 概念。QAT 則是把量化誤差放進(jìn)訓(xùn)練過程里讓模型自己適應(yīng)低精度表達(dá)精度通常更好但要重新訓(xùn)練成本高。實(shí)際項(xiàng)目里PTQ 最容易炸的位置往往在網(wǎng)絡(luò)的特殊結(jié)構(gòu)上殘差結(jié)構(gòu)的加法會(huì)把兩路量化誤差疊加LayerNorm 對數(shù)值尺度敏感softmax 的輸入差一點(diǎn)點(diǎn)輸出概率就變化很大。處理經(jīng)驗(yàn)是這些特殊層不要一刀切量化保留 FP32 中間計(jì)算或用混合精度比如用 INT8 做矩陣乘但累加器和最終輸出用 FP32 寫回。這張表格是我的經(jīng)驗(yàn)總結(jié)量化方法工作量精度損失硬件要求動(dòng)態(tài)量化低運(yùn)行期做 scale中等適合大模型粗部署需要硬件支持動(dòng)態(tài) scalePTQ中需要標(biāo)定數(shù)據(jù)集通??煽靥厥鈱右~外處理需要校準(zhǔn)邏輯和 per-channel 支持QAT高要訓(xùn)練最低需要硬件指令集支持偽量化節(jié)點(diǎn)6.2 稀疏化落地跳過計(jì)算的同時(shí)別把流水線打亂稀疏化在理論上能白賺很多加速比但硬件端實(shí)現(xiàn)起來很容易“揀了芝麻丟西瓜”。剪枝后的模型參數(shù)變成稀疏矩陣如果硬件還是按密集矩陣去讀那剪枝省下的 FLOPs 全部變成無效的訪存和等待速度不升反降。所以做一個(gè)高效稀疏加速器的核心是讓硬件能跳過零值計(jì)算而不是把稀疏數(shù)據(jù)重新填回密集格式。目前工程上最成熟的是結(jié)構(gòu)化稀疏典型如 2:4 稀疏——每 4 個(gè)連續(xù)權(quán)重里最多 2 個(gè)非零。這種規(guī)則讓硬件可以用一個(gè)很小的索引位圖跳過零值計(jì)算流水線不會(huì)亂。而我強(qiáng)烈建議普通團(tuán)隊(duì)先別碰非結(jié)構(gòu)化稀疏雖然壓縮率高但它會(huì)讓編譯器的數(shù)據(jù)布局、DMA 搬運(yùn)和 PE 調(diào)度復(fù)雜好幾倍后端訪存很容易變成隨機(jī)訪問那還不如密集計(jì)算快。6.3 Runtime 與驅(qū)動(dòng)AI 芯片更像一個(gè)“顯式調(diào)度的協(xié)處理器”最后一段是 Runtime 與驅(qū)動(dòng)。和 CPU/GPU 那種“跑指令流”的設(shè)備不同AI 芯片更像一個(gè)需要被顯式調(diào)度的協(xié)處理器Runtime 要在用戶空間分配好片上內(nèi)存、配置好算子序列、把 DMA 描述符提交給內(nèi)核驅(qū)動(dòng)內(nèi)核驅(qū)動(dòng)再負(fù)責(zé) IOMMU 映射、中斷處理和硬件同步。分工上驅(qū)動(dòng)盡量薄、只碰硬件Runtime 盡量厚、負(fù)責(zé)模型級邏輯和調(diào)度。真正在部署階段會(huì)遇到的麻煩是顯式設(shè)備管理的復(fù)雜度多個(gè)推理任務(wù)并發(fā)時(shí)到底誰占用計(jì)算陣列誰在等帶寬片上內(nèi)存碎片如何避免高優(yōu)任務(wù)怎么樣能插隊(duì)但不打斷低優(yōu)任務(wù)正在執(zhí)行的 DMA。這些不是 RTOS 概念能直接套的必須針對 NPU 的特性設(shè)計(jì)調(diào)度策略。我的經(jīng)驗(yàn)是先做一個(gè)簡單的任務(wù)隊(duì)列和優(yōu)先級搶占模型把穩(wěn)定性跑出來再談性能優(yōu)化——部署階段的用戶不怕慢一點(diǎn)怕的是動(dòng)不動(dòng)就死鎖或 OOM。寫到這里話題差不多收住了。最后再分享一點(diǎn)個(gè)人的體會(huì)如果讓我重新立項(xiàng)做一款 AI 芯片我會(huì)在第一周就把三件事定下來——編譯器團(tuán)隊(duì)用的 mock 接口、寄存器描述文件的唯一事實(shí)來源、以及一個(gè)能跑軟件棧的虛擬原型。硬件確實(shí)決定了算力天花板但能讓用戶實(shí)際拿到的性能貼近天花板軟件棧從第一天開始就是主戰(zhàn)場不是可有可無的附屬件。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99热丁香| 婷婷久久色| 丁香婷婷五月综合欧美另类| 91超碰在线观看| 色女人久久| 色色色色色网| enecarbon-materials.com污K127封锁请涟系@wip1688 | 婷婷激情丁香六月| 天天日日夜夜爽| 九月婷婷人人操人人舔人人爱| 99热丁香| 97色色色色色| 亚洲行行色色| 久久这里只有精品07 | 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 1024欧美日韩精品久久久| 97超碰综合| 97好吊操| 26uuu国产精品| www.久久爱.com| www.99热国产| 八戒青柠影视剧在线观看| 亚洲视频99| 六月激情婷婷色| 久久久精品99| 日韩无码亚欧无码| 182无码| 婷婷永久在线| 亚洲欧美成人在线| 色综合久久久久| 丁香婷婷色情社区成人小说| 3www激情| 99国产小视频| 婷婷色五月天综合网| 97碰人人操| 亚洲字幕AV一区二区三区四区| 久久99精品久久久久久噜噜| AV人人操| 天天影院色| 欧美va| 丁香五月AV在线| av激情在线| 精品一二三区久久AAA片| 久久久婷婷婷| 亚洲超碰在线| 99视频只有精品| 91丨九色丨熟女| 人草人人| 2025色婷婷| 99热这里只有精品50| 77799热| 免费黄色片子| 丁香五月,开心五月,成人婷婷| 激情五月综合久久| 色情久久久| 婷婷中文网站| 丁香婷色| 国产婷婷色五月| 97久人人| 婷婷五月色情天| 九九av在线| 97操在线资源| 久久色天堂| 91九色欧美| 婷婷六月久久| 99精品97| 99re思思| 超碰免费人人| 丁香婷婷免费| av性爱在线| 五月婷婷精品视频| 色导航色婷婷五月天在线观看| 欧美狠狠地| 国产婷婷五月天| 婷婷之六月丁香| 婷婷激情五月天在线| 婷婷五月综合激情小说| 人人草人| 一级二级色大片| 伊人9在线| 五月天成人在线视频网站| 五月天婷婷情色| 丁香五月骚喷水视频| 色丁香五月婷婷婷| 亚洲综合色五月| 色丁香五月综合网| 99婷婷国产最新视频| 国产操碰| 国产黄大片在线观看画质优化| 超碰人人摸人人操| 日91高清无玛| 色五月丁香五月激情五月激情| 天天开心天天色| 五月激情丁香久久综合网| 国产欧美婷婷五月| 色婷婷色99国产综合精品| 99热这里只有精品中文字幕| 中文av网| 激情五月天福利| 色五月欧美| 久99久在线| 久久久久久天天日天天爱| 久久婷出差欧美色两性综合网| 99热精品一区| 久久久久亚洲AV无码网影音先锋| 国产美女无遮挡裸体毛片A片| 96丁香婷婷九月蜜桃综合久久| 九热视频免费观看| 亚洲婷婷月丁香五月| 色五月婷婷激情五月| 91热er| 无月播播激情在线观看视频| 五月婷婷激情综合| 婷香狠狠爱五月| 色五月综合| 激情网 五月天| 久久免片| 色色色九九九五月婷婷| 在线视频你懂得| va婷婷在线| 日韩精品二三区| 婷婷综合网站| 91九色无码内射| 色九月婷婷| 中文无码精品一区二区三区| 久婷婷| 日韩人妻AV在线| 视频一二区| 啪啪干伊人婷婷| 天天色噜| 五月天婷婷色综合| 中文无码精品一区二区三区| 超碰碰碰碰| 九九操屄| 婷婷成人综合免费视频| 日日夜夜婷婷| 成人五月丁香社区| 久久久精品人妻| 丁香五月综合| 欧美日韩一a.无| 草逼大片| 亚洲99热| 热的无码综合视频| 久久99视频| 婷婷综合九月| www,天天干| 国产欧美日韩综合精品一区二区| 精品乱码视频| 丁香婷婷六月天| 狠狠色噜噜狠狠| 午夜丁香综合婷婷| 久操人| 丁香成人综合| 99热官网| 色波激情五月天| 亚洲婷婷欧美婷婷| 丁香五月九九| 思思热视频| 大地资源色婷婷视频在线| 人妻aV在线| 婷婷五月图片小说网| 99爱精品| 五月天激情播播网| 激情av| 亚洲综合另类| 狠狠干在线| 天天狠天天叉| 亚洲黄色操逼| 五月天婷婷丁香社区| 国产精品18久久久| caopeng97日韩| 日韩无码专区| 这里只有精品,日韩视频| 久久精品4| 99爱在线| www.五月.com| 视频一二区| 五月丁香免费看| 中文AV网站| 五月婷六月天| 色很久综合| 日韩十国产极品久久| 日韩AV无码影片| 久婷婷久草| 99久久综合| 99色干| 激情丁香六月| 五月天无码| 五月丁香操婷逼| 国产老熟妇亲子乱对白| 色激情五月| 九九亚洲视频| 日本精品人妻无码77777| 26uuu色噜噜精品一区| 色婷婷综合网站| 国产亚洲精品人人| 五月天丁香久久综合 | 丁香五月久久| 青草激情在线| 丁香五月开心亚洲| 激情综合五| 丁香五月天激情五月天激情五月天激情网| aV直接看| 五月婷婷色播| 综合婷婷六月| 丁香婷婷综合喷| 激情五月天社区| 婷婷五月色综合| 亚洲人妻av| 丁香六月婷婷综合色| 超碰在线免费| 日韩抽插操逼| HD久久精品视频| 亚洲激情综合| 天天天操天天天爰| 亚洲av另类在线观看| 色婷婷裸体色性在线| 久久色吧| 久久天天| 婷婷五月天在线观看av| 亚洲欧洲一二| 小视频久久久aaa| 色色色精品无码区| 丁香五月婷婷综合激情啪啪啪啪啪啪啪 | 五月丁香另类网| 伊人啪啪网| 久久精品婷婷五月丁香| 无码少妇高潮喷水A片免费| 色丁香久久久| 香蕉久久国产AV一区二区| 久久香蕉网| 亚洲三A| 精品人妻伦一二三区久| 日韩草草草草草草草草草草草草| 黄页免费一级视频懂色| 天天干,夜夜爽| 亚洲夜夜操| 嫩模aV在线| 欧美大片| 可以免费看AV网站| 五月婷婷六月丁香激情深爱| 91久久九| 国产日韩欧美| 超碰亚洲天堂| 亚洲婷婷免费| 婷婷开心激情综合五月天| 五月综合激情| 婷婷六月丁综合| 中文AV网站| 五月色网| 天天插夜夜爽| 婷婷的久久网站| 丁香88AV五月婷婷| 日本天天操| 婷婷六月久久综合导航| 成人深爱丁香五月| 欧美日韩成人免费在线| 99热免费18| www.色综合| 婷婷色播综合五月| 天天玩天天摸| 99精品自拍| 久99久热只有精品国产99| 色99无码| 九九精品9| 激情综合亚洲| 大天天伊人| 九九亚洲小视频| 成人网址在线观看| 日韩综合久久| 久久大大香| 人妻啪啪啪| 日本婷婷| 思思热精品在线观看| 婷婷国产日本欧美| 色播五月婷婷综合| 激情图片亚洲| 五月婷成人| 超碰精品国产首页| 色色色五月| 粉嫩AV久久一区二区三区| 欧洲激情精品婷婷| 色五月婷婷影院| 五月激情视频网| 婷婷色网站| 欧美婷婷丁香五月| 丁香久久激情俄| 激情内射人妻1区2区3区| 91久久99久久91熟女精品| 成人丁香| 国产精品色色| 91九色无码日韩| 亚洲男人的天堂婷婷色五月| 春色激情第四色| 久久婷婷五月天激情新地址| 国精产品一区一区三区免费视频 | 在线观看欧美| 日本丁香久在线| 丁香花五月天婷婷成人社区| 九九色video| 色婷婷中文| 国产做A爰片毛片A片美国| 能看的AV| 国产精品扒开腿做爽爽爽A片唱戏| 天天插天天爱| 99色色网| 亚洲情综合五月天| 人人操大| 伦乱天堂| 婷婷五月成人色综合| 色99视频| 九九这里只这里只有精品| 婷婷五月色播网| 激情五月天丁香| 婷婷中文字幕| 99亚洲大片精品永久在线观看 | 91狠狠色丁香婷婷综合久久狠丁香综合久久精品| www.夜夜操| 丁香五月欧美| 69凹凸成人综合网| 婷婷干| 超碰激情五月| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 99精品自拍| 91viP在线看| 婷婷五月天激情电影| 色吧五月婷婷| 这里只有精品偷拍| 日本va欧美va欧美| 可以免费观看的av| 九九色婷婷| av亚洲国产小电影| 丰满老熟妇BBBBB搡BBB| 久久九九一區| 99re在线观看| 中文不卡一二区| 丁香六月无码播放| 色99视频| 激情 久久 婷婷| 日韩成人电泉AV| 91婷婷丁香五月| 天天激情综合| 狠狠狠狠狠狠狠狠| 色综合99| 丁香婷婷综合喷| 综合网啪啪| 天天插综合在线| A色色| 14色综合婷婷| 婷婷五月天性色| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 五月丁香在线观看99| 亚洲av网站在线观看| 亭亭五月丁香综合欧美| 婷婷激情五月天小说校园| 日熟女| 久久婷婷精品| 婷婷九月狠狠色| 婷婷社区五月天| 亚洲视频一区| 黄色三级日本| 第一区久久网站| 99热精品在线在线| 欧美A级成人婬片免费看理论| 综合超碰熟| 久久99婷婷| 九九热思思热| 99啪啪| 婷婷五月天综合久久日| 99 热国产在| 亚洲色色香蕉| 亚洲色婷婷| 丁香色影院| 99热6这里之有精品| 婷婷五月18永久免费视频| 色婷婷综合亚洲| 极品人妻VIDEOSSS人妻| 网色99| 99爱免费视频| 色婷婷丁香五月| 六月激情丁香一道本7777| 五月丁香激情片| 综合激情深爱| 福利视频在线播放| 91狠狠综合久久| 色色色.COM| 日本三级日本三级99| 中文字幕婷婷在线| SS丁香五月婷婷| 99久在线| 先锋资源婷婷| 日韩在线五月天婷婷| 狠狠色丁香99| 成人婷99最新| 五月激情射| 色婷婷欧美在线| 91人人操人人爱| 97午夜一区二区| 亚洲日韩人妻操逼| 婷婷五月av| 在线亚洲综合网| 色插综合网| 日日综合网| 九九人人精品| 五月婷婷激情日本| 亚洲操B视频| 99热无码| 五月婷九月| 天天操天天爱天天日| 99热官网| 久久999久久999久久999久久| 色综合色色色色色| 天天肏视奸| 天天综合色综合| 亚洲超碰在线| 无码色色色色色| 婷婷99热| w婷婷五月婷婷w| 99热天堂| 1024国产| 丁香六月婷婷色XXXXX| 男人天堂 久久| 婷婷五月天电影区小说区| 亚洲五月六月婷婷| 亚洲激情.com| 激情综合婷婷久久| 五月婷婷激情五月| 久久丁香网| 五月婷婷网五月在线| 中文在线视频久1| 啪啪日本欧美| 夜夜干天天干| 国产精品国产| Av大香蕉| 欧洲亚洲免费视频9| 九九热最新| 综合激情五月四射婷婷| 无码人妻少妇色欲AV一区二区| 开心深爱五月天| 欧美精品XXXXBBBB| 99热这里只有精品最新地址获取| 色综啪啪啪啪啪啪| 色狠狠综合网| 亚洲天堂久久| 成人国产欧美大片一区| 女人天堂 AV| 激情文学 综合 九月| 色偷偷色婷婷| 亚洲中文字幕网| 六月激情网| 婷婷伊人激情婷婷| 国产女人十八水真多1| 色欲资源网| 超级碰碰视频无码| 91超级碰| 狠狠干青青草| 99资源在线| 日韩 中文 欧美| 久久总和99| 伊人激情影院| 99日韩网站| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | VA日本视频| 牛色色碰| 亚洲熟妇无码乱子AV电影| 人妻操日日| 91操人视频| 丁香婷婷人妻综合网| 北京熟妇搡BBBB搡BBBB| 思思热高清在线观看| 玖玖爱资源站| 欧美激情综合五月色丁香| 丁香网五月天激情| 六月婷婷色综合| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 国产精品VA在线| 久久婷婷五月天蜜桃| 五月噜噜噜色综合| 久久3级片| 丁香婷婷五月六月久久| 丁香五月六月婷婷自拍| 久久久久99精品成人网站| 五月丁香啪啪网| 丁香五月五婷| 99丁香五月婷| 99在线视频播放| AA片在线观看视频在线播放| 色偷偷综合| 婷婷五月丁香影院| 九九综舍久久| 九九爱精品网站| 激情五月色婷婷| 开心婷婷五月花| 六月丁香狠狠爱| 天天天天干| 国产日韩欧美性爱| 精品色色网| 色狠狠综合| 精品国产一区二区三区四区阿崩 | 99热这里只有精品青草| 中文字幕簧片| 99久热在线精品| 丁香婷婷婷五月综合色情| 99色| 无码啪啪| 五月婷视频在线| 玖玖九九99| 四色永久成人网站| 特级操b片| 久久久宗合视频88| 97人人操人人干| www.maotanji.com| 99色在线| 激情开心五月婷婷| 婷婷久久五月| 欧美婷婷丁香五月| 9 1大香蕉| 色丁香久久| 麻豆五月丁香婷婷| 五月丁香婷婷色| 色婷婷先锋| 久久人人添人人爽添人人片αV | 欧美成人va| 久久ri精品| eeuus五月婷| 婷婷五月色情天| 色五月天丁香婷婷色| 九九视频热| 婷婷五月俺要去| 99色婷婷视频| 黄网免费看| 激情五月五月婷婷| 第1影院之五月婷婷| av在线色五月丁香婷区久| 另类少妇人与禽zOZZ0性伦| 九九色中文| 91综合国免费久入| 五月天操逼网| 色五月五月婷婷| 美国不卡视频| 少妇人妻人伦A片| 日本三级第一页| 激情 婷婷 插| 碰超亚洲| 婷婷金品综合视频| 成人丁香五月婷| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 激情婷婷五月女| 九色PORNY自拍成人精彩视频| 中文字幕黄色电影网址| 天天天干夜夜夜操| 婷婷五月天情色| 婷婷五月激情丁香| 久九九热| 9999三级片| av在线观看免费| 欧美超级视频97| 五月婷久久草| 午夜天堂啪啪| 丁香六月婷婷缴情欧美| 亚洲国产精品SUV| 激情五月丁香在线观看直播| 极品精品一区二区三区在线| 婷婷五月天首页| 精品婷婷丁香五| 天天狠狠干| 欧美婷婷色五月网| 色情五月婷| 91超碰在线观看| 欧美六月| 久久人人妻| 激情五月丁香综合蜜桃| AAA级久久久精品| 婷婷激情五月天亚洲综合| 久久婷婷一级片| www99热| sewuyuetingtingiii| 欧洲色| 亚洲综合色色| 国产亚洲精品久久久久久郑州| 这里只有精品视频222| 丁香成人五月天| 能看的AV网站| 久久久精品婷婷五月天| 婷婷六月色开 | 伊人婷婷五月| 亚洲av网址| 丁香六月啪啪啪| 天天五月丁香五月| 婷婷狠狠干| 婷婷五月天久久久| 久激情网| 色综色网| 欧美色色色色色色色| 色六月天天激情综合网| www.玖玖九| 亚洲操B| 超碰人妻在线| www.婷婷com| 99热这里只有精品在线观看| 天天做天天爱高潮片| 免费视频在线观看的网站| 骚。com| 久久婷综合网| 99热综合网| 丁香5月婷婷| 国产操B视频| 丝袜大香蕉| 99综合色| 99精品久久久| 狠狠色狠狠操| 99福利导航| 农村熟妇高潮精品A片| 久久综合人妻| 五月丁香婷婷AV天堂| 色黄啪啪| 九九黄色网| 色欧洲| 99热 这里只有精品 国产 日韩| 五月丁香亭亭电影久久| a在线观看| 婷婷五月天激情五月天网站| 99久久网站| www.色欲丁香婷婷| 狠狠做婷婷| 九九亚洲小视频| 超碰97干| 丁香五月色情av| 色婷婷五月色| 五月天综合影院| 99久久99视频只有精品| 婷婷久久欧美| 丰满少妇乱A片无码| 色婷婷亚洲婷婷| 久久午夜理论| 四色永久成人网站| 日都一级A片| 成功精品影院| 日韩无码色色| 激情5月婷婷狠狠干| 操日视频| 亚洲精品另类| 爱射综合| 激情综合网五月婷婷| 婷婷五月天在线观看免费 | 婷婷少妇激情| 丁香婷婷五月天成人| 国产激情视频在线观看| 五月婷啪| 久久久噜噜噜久久人妻| 亚洲五月天婷婷综合| 思思久久99热| 任你爽精品免费视频6| 99国产精品白浆在线观看免费 | 国产欧洲欧洲精品久久| 午夜无码精品色综合久久| 99国产小视频2013| 丁香六月啪啪啪| 久婷自拍视频| 日韩AV免费电影在线播放| 99热这里只有精品2| 99九九视频| 欧美VA在线| 久久婷婷五月综合色播| 亚洲sesesese| 日本色色图| 日本免费91| 亚洲中文AV网站| 亚洲精品V天堂中文字幕| 色欲色香综合网| 色色五月丁香婷婷| 色哟哟www| 99热这里只有精品最新网址| 伊人婷婷五月天av| 天天操天天谢| 五月天婷婷黄色| 婷婷深爱色五月| 77799热| 日本女天天爽| 五月丁香综合激情在线观看| 婷婷色五月婷婷姐妹| 色五月婷婷中文字幕| √天堂资源在线人妻熟女| 小骚穴电影| 婷婷综合网性| 99九九热在线观看| 久久久久久久人妻| 色五月激情综合| 五月天最新网| 99热综合| 午夜成人网站在线观看| 激情六月天| 久久综合首页| 色综合久久44| 色色色欧美| 4399成人黄A片| 色播丁香| 操人无码| 中文字幕有多少字| 操操综合网婷婷| 五月婷视频| 疯狂做受XXXX高潮A片动画| www.夜夜| 狠狠爱成人综合网| 激情五月天婷婷丁香| 色婷婷另类| 久久综合图片| 五月婷婷导航| 日韩综合天堂| 成人va在线观看视频| 黄色99视频| 婷婷五月丁香综合激情小说| 99免费视频精品| 亚洲五月天婷婷综合| 国产色色色色| 超碰93在线观看| 久热九九| 欧美激情性做爰免费视频| 成人AV在线中文版| 五月天色软件| 五月花激情网| 色狠狠色| 婷婷的五月天另类视频| 黄色99网| 五月丁香六月婷婷欧美综合| 丁香婷婷91在线观看视频| 大香蕉520| 色狠狠色噜噜AV天堂五区| 懂色av粉嫩av蜜臀av| 久久人妻超碰一区| 伊人久久综合| 97干在线| 婷婷五月中文字幕国产| 这里只有精品视频免费在线观看| 婷婷天堂综合| 中文中文在线| 久久一级片| 日本高清久久| 色宗合久久五月婷婷| www.婷婷五月| 青青草五月天| 色综合网页| 涩丁香91| 91日本在线观看| 婷婷色系婷色| 狠狠操天天干| 色婷丁香| 色婷婷综合久久| 婷婷狠狠干| 亚洲综合五月天婷婷| 97精品综合久久内射| 91丨九色丨东北熟女| 亚洲网站在线鸭子av| 色综合天天天天做夜夜| 99亚洲天堂| 日本美女97在线视频| 蜜臀av粉嫩av懂色av| 婷婷激情性爱| 五月婷婷婷婷婷| 影音先锋一区二区三区| 婷婷五月天VI| 91操网| 人人色性网| 五月天婷婷视频小说| 99热超碰| 久久久久久久久99精品| 伊人日日干| 丁香婷婷六月| 97caop| 九九成人高清视频| 天天肏在线观看| 成人短视频免费| 久久这里只有国产精品视频| 久9热在线视频| 91精品国产综合久久蜜芽解析速度| 丁香五月激情啪啪| 大香蕉久久久久| 婷婷五月天亚洲综合| 丁香婷婷激情网站| 中文字幕欧美日韩VA免费视频| 五月婷婷色啪| 26UUU精品一区二区Com| 另类小说五月天| 伊人久久丁香五月91| 99热这里只有精品26| 日韩五月丁香| 91干网站| 日本色色影片| 日本不卡高字幕在线2019| 五月婷婷婷| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | 欧美日韩123| 99热久久最新地址| 日韩视频99| 91国产精品视频播放| 少妇丁香婷婷| 99热这里都是精品| 五月天伊人久久| 久久机只有这里精品| 五月丁香影院| 欧洲综合视频| 五月丁香婷婷爱| Av中文在线| 天天干天天日天天插| 大香蕉婷婷| 丁香婷婷老司机久操| 噜噜噜噜在线| 极品少妇高潮啪啪AV无码| 99久久五月天| 五月丁香久久激情网| 丁香五月天堂网| 任你擦免费视频| 天天操比比| 九九99视频精品| 激情综合丁| 欧美内射AAAAAAXXXXX| 婷婷久久欧美| 玖玖99免费视频| 91久草五月天婷婷| 婷婷色5月激情网| 清纯唯美 激情四射| 99精品视频在线免费观看| 免费亚洲婷婷中文字幕| 综合激情肏逼网| 激情综合激情五月一起草| 噢美99| 99热日本| 大战熟女丰满人妻AV| 婷婷色色综合激情| 色99色| 国产VA播放| 激情综合网色播五月| 狠狠香蕉| 99热青青草| 亚洲精品444久久久久久| 丁香五月第四色88| 国产AV一区二区三区最新精品 | 婷婷五月激情在线| 亚洲无码影音| 婷婷五月天在婷| 香蕉久久五月| 丁香成人视频| 日本九九视频| 9久久精品| 丁香五月天婷婷在线视频| 99爱视频在线观看这里只有精品| 欧美情月伍月天| 色五月激情网| 9九热视频| 五月丁香啪| 亚洲爱爱无码婷婷色五月| 精品亚洲国产成AV人片传媒| 天天添天天摸天天天天做| 婷婷丁香无码专区| 91操操操| 99re资源在线视频导航| 婷婷五月天免费视频| 艹天天射| 五月丁香色婷婷| 激情丁香六月| 丁香六月婷| 99热综合在线| 精品人妻一区| 丁香五月天色| 色综合综合综合| 色亚洲欧洲| 五月天伊人久久| 久久久久久久久99精品| 99久在线精品| 超碰碰碰碰| 开心深爱五月天| 在线看的免费网站| 婷婷激情五月色综合| 国产成人AV在线播放| 狠狠干综合| 色狠狠六月| 9精品一区| 日本综合久久| 狠狠狠人妻| 色婷大香蕉| 五月婷婷啪啪啪| 丁香五月欧美色综合| 五月丁香久久激情网| 婷婷欧美| 婷婷五月丁香综合亚洲| 丁香九月婷婷综合| 五月天婷婷成人| 91 欧美| 成人av免费观看| 久久人妻在线| 乱精品一区字幕二区| 欧美日韩精品一区二区三区钱| 爱爱色五月天| 久久东京热婷婷五月| 99操不停| 天天做天天双| 色色性爱视频| 色九月婷婷综合| 亚洲热综合| 九九色婷| 激情合网婷婷| 色爽九九| 色五月,婷婷大香蕉| www.十八禁不禁AV.com| 激情综合五月婷婷| 免费亚洲婷婷中文字幕| 六月婷婷八月丁香| 青青草原爱爱网| 六月丁香深深爱| 人妻久久久久久| 变态另类9| www.99热这里精品| 亚洲国产网址| 久久思思精品| 欧美大肥婆大肥BBBBB| 91Chinese在线| 超碰免费99| 日韩黄色电影| 五月婷婷中文字幕AV| 日韩三级高清无码| caopeng超碰| 玖玖综合色| 久久久精品AV| 香蕉狠狠爱视频| 99re在线视频| 久久婷婷五月综合| 99久久9| 91精品综合久久久久久五月丁香| 久久人人超| 色综合区| 久久五月激情| 天天干天天做| 亚洲熟妇AV综合网五月丁香伊人| 国内外色色色色色成人视频| 激情五月网站| 香蕉影院色| 99综合激情久久精品久久| 影音先锋AV资源男人站| 五月丁香操亭亭网| 操操日韩| 色情五月婷婷| 深爱五月综合网| 婷婷五月色播| 99热大全在线观看| 99热在线观看| 五月天婷婷青青| 99综合五月免费视频色婷婷| 色丁香六月| 婷婷激情啪啪| 大香蕉啪啪| 色婷婷基地在线| 爆乳熟妇一区二区三区四区| 日日艹思思热| 成人啪啪色婷婷久| 五月丁香久| 99欧美| www色色色com| 久久久久人妻中文| 大香蕉狠狠爱主页| 超碰人人草| 五月婷婷插一插| 97自拍视频网| 五月天综合网| 色婷婷久久| 婷婷五月色天| 97久久久久| 激情av在线| 久久久免费精彩视频| 97色色色色色| 噜噜久| 五月天婷婷青青草| 五月激情网络| 天天夜天天色天天| 日日想日日夜日日操| 操人妻90p| anquye伊人| 超碰成人在线观看| 五月婷网| a在线观看| 日日干天天射| 婷婷五月丁香六月| 91AV婷婷| AV九九| 91五月天| 丁香五月激情婷婷视频| 亚洲中文字幕AV| 高清视频一区| www.91婷婷| 色综合中文色综合网| 亚洲成人无码网站| 日日操夜夜操无码免费| 大伊香蕉玖玖爱| 九九热精品99| 久操热| 国产67194| 久久综合综合久久| 亚洲激情亚洲激情| 五月丁香六月婷婷,婷| 日日干日日s| 精品综合五月| 日日夜夜小色哥| 丁香六月天堂| 婷婷五月天播播| 九九色图| www.久久久.com| 婷婷丁香色五月| 99热在线看| 69精品人人人人| 国产露脸150部国语对白| 色欲色欲久久宗合网| 色婷婷91激情小说| 色婷成人狠干| 丁香色色网| 六月婷婷六月天天在线免费| ri电影在线| 天天碰天天插天天操| 天天综合网亚洲网站| 99无码| 五月丁香大相交| 五月激情六月宗合| 国产精品久久久久久喷浆| 九色在线五月婷婷网址| 婷婷娌伦网| 色啪影院| 激情五月天综合图片小说网站| 久久精品视频9| www.婷婷六月天| 婷婷视频网| 婷色影院| 人人操操| 99re热精品在线视频| 六月色狠狠色| 色色免费网站| 六月婷婷综合网2| 丁香五月性| 婷婷丁香五月综合| 五月天婷婷影院| 性天天中文网| 青娱乐美女福利视频美臀| 九九色色| 综激情网| 色综合香蕉| 久久怡红院| 99热在线观看| 99热啪啪| 五月婷中文字幕| 色欲午夜无码久久久久久张津瑜| 五月天久久丁香| 五月婷婷丁香在线视频| 四色 爱 婷婷 精品 亚洲 五月天| 99无码视频| 日本精品99| 一月婷婷色色| 91大神操美女| www.色九月| 久久婷婷激情四射五月天| 亚洲成人综合网在线免费观看| 婷婷五月天天| 婷婷综合中文字幕| 亚洲无码 图片区| 操老逼综合网| 欧美色男人网站| 国产亚洲色婷婷久久99精品91| 五月丁香狠狠爱| www.zbzhongsen.com| 久久久久久人妻| 亚洲国产99| 麻豆雪千夏| 色五月色五天色情网| 丁香五月首页| 婷婷综合五月| 色色色成人网| 天天爽天天| 99热在线播放| 大地资源色婷婷视频在线| 超碰v| 无遮羞AV| 蜜臀综合久草| 99久久偷拍视频| 五月丁香另类网| 丁香花五月天社区| 五月婷婷六月丁香首页| 秋霞AV美国| 激情婷婷久久| 六月丁香婷婷五月天| 久热只有这里有精品| 激情精品久久| 天天色综合网吨吧| 婷婷伊人五月天| 五月丁香av中文| 色五月av| 日本综合99| 99ri视频在线观看| A1片久久久| 96精品久久久久久久久| 婷婷五月天久久久| 丁香六月天婷婷色| 五月婷婷六月婷| 丁香五月天之婷婷影院| 伊人久久大香蕉网| 狠狠色综合网| 狠狠噪| 玖玖在线| 99热在线只有精品| 99热免费精品| www.天天干| 国产成人精品一区二三区熟女在线| 久久久天堂国产精品女人| 九热网站| 色久影院| 色婷婷综合网站| 狠狠色 综合色区| 一丁香五月天月AV| 五月天久久综合| www.五月婷婷.com| 在线播放中文字幕| 色婷婷另类| 天天久综合网永久入口17v| 激情的五月婷婷蜜桃| 五月婷婷啪啪网| 日本久久婷| 精品人妻午夜一区二区三区四区| www.9色色色| 精品思思久久| 亚洲国产精品综合色区| 亚洲超碰在线| 国产AV一区二区三区最新精品 | 综激情网| 久久只有精品| 99在线小视频| 色色色国产| 成人做爰黄A片免费看直播室男男| 久久综合五月婷婷| 二人电影免费版在线观看| 五月婷婷性| 激情综合五月| 大香蕉丁香| 亚洲精品乱码久久久久久综合| 色播五月丁香综合| 丁香综合伊人| 99热66| 69精品人人人人| 婷婷综合色网| 天天插天天| 久久伊人日日夜夜| 夜夜夜夜夜操| 国产亚洲在线| 九九热在线视频观看| 丁香五月激情棕合| 婷婷五月综激情| 无码啪啪| 超碰色综合| 九九这里是免费的视频5| 欧美影院婷婷| 欧美日朝成人| 五月婷婷中文| www.99热最新视频8| 97色在线| www.天天色综合| 亚洲成人免费在线| 色婷婷在线综合色播网| 色偷偷AV亚洲男人的天堂| www.狠狠操.con| 3p九色在线| se99视频| 日韩无码人妻一区二区| 色五月激情| 色 免费网站视频| 久久激情五月| 亚洲婷婷激情888精品久| 女同在线9| 天天爱天天爽| 欧美婷婷丁香五月社区| 色色色色网站| 久久婷婷五月综合色播| 亚洲操女| 丁香婷婷影院| 婷婷色五月激情强奸四射| 91成人电影| 色综合久久88色综合天天99| 丁香激情五月天| 天天上天天爽| 激情九月婷婷| WWW.桔色成人.COM| www.激情com| 99色中文| 婷婷久久欧美| 婷婷五月五月丁香| 99热这里只有精品国产首页| 久草五月婷| 亚洲综合五月天婷婷| 欧洲高清免费久久| 久久婷婷六月综合综合| 五月婷婷基地| 六月丁香啪啪啪| www.sebowuyue| 丁香五月婷婷六月丁香| 另类国产区| 色综合色综合色综合色综合| 五月精品99综合| 亚洲AV成人无码久久精品老人法拉利| 情欲禁地| 偷拍视频五月天| 九九色情网站| 精品国产va久久久久久久| 五月丁香狠狠爱| 色欲五月天| 国产毛片欧美毛片久久久| av在线超清中文| 99久久户外勾搭| 美女va| 五月丁香久久| 激情五月婷婷综合网| 亚洲最大成人综合网720P| 9九色首页| www.婷婷六月天| 99re在线精品视频| 五月天色色色| 五月天婷综合| 久久xxxx| 终合激情网| 婷婷五月成人有| 91在线人| 九九激情| 丁香色五月婷婷| 天搞天天天天天| 五月丁香亭亭A片| 大香网伊人久久综合| www.五月瑟| 一区二区三区视频| 91在线看片| 婷婷综合| 五月天六月婷| 97色色色色| 五月激情婷婷国产精品久久久久久| 五月天开心网| 天天综合在线网| 婷婷八月激情| 好色婷婷| 最近中文字幕2019视频1| 激情图片婷婷| 99久久九九| 亚洲色色色色色色色色色| 99精品综合在线| 激情网五月天| 久久9热| 欧美va| 亚洲五月天第一综合干| 182TV大香蕉| 5月丁香综合图区| 97色色色色色| 五月婷婷色五月| 精品成人无码A片观看香草视频| 另类激情综合| 久久大香免费| 丁香婷婷色五月| 性爱网五月天| 亚洲人成人五月天| 久久久久久xxxxx| 99色热视频| 一起草日本| 九九操屄| 久久综合激情| 亚洲成人免费电影| 26uuu欧美日韩| 无码人妻AV久久久一区二区三区 |