欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網運營的一線實戰(zhàn)洞察。

大模型推理帶寬瓶頸下存算一體芯粒架構設計與驗收

大模型推理帶寬瓶頸下存算一體芯粒架構設計與驗收 簡介《基于存算一體集成芯片的大模型專用硬件架構》是一份面向大模型硬件架構研究者、芯片設計工程師與高校相關專業(yè)師生的學術論文PDF聚焦大模型部署中的數據傳輸帶寬瓶頸與數據中心能耗壓力。文件共1個PDF約3.49MB完整收錄何斯琪、穆琛、陳遲曉發(fā)表于《中興通訊技術》2024年第30卷第2期的文章便于檢索、引用與精讀。內容圍繞存算一體集成芯片與集成芯粒方案展開分析傳統計算與存儲分離架構的局限并討論輕量化—存內壓縮協同設計、稀疏網絡在存算一體硬件上的稠密映射等實現思路對理解大模型推理能效優(yōu)化和專用硬件設計具有參考價值。已有140人學習適合作為架構調研、論文寫作或技術方案論證的參考資料。1. 為什么大模型推理通常會卡在“搬數據”上一筆帶寬賬決定的架構選型給一個 70 億參數的大模型做推理硬件方案最先被推翻的往往不是算力預算而是帶寬預算。按每秒一萬個令牌的實時速率計算僅僅把權重從存儲搬到計算單元就需要每秒幾十太字節(jié)的搬運能力而當前主流的高帶寬存儲封裝單棧只有每秒零點幾太字節(jié)的量級多棧堆疊也補不上這個缺口。這個缺口不是靠堆容量能抹平的它直接決定方案走向計算和存儲到底要不要貼在一起?;诖嫠阋惑w集成芯片的大模型專用硬件架構解決的就是這筆搬運賬把權重固定在存儲陣列里讓乘加在數據所在的位置發(fā)生再用芯粒集成繞開單芯片的面積與良率天花板。這套思路適合兩類人要做一份完整硬件架構畢設或課設的學生以及要給推理加速卡做選型論證的工程師。2. 帶寬瓶頸如何計算從參數規(guī)模到芯粒接口速率架構方案里最容易空泛、也最容易被導師或評審追問的地方就是“帶寬不夠”這四個字。不夠多少、缺在哪個環(huán)節(jié)、換成什么結構能補上多少必須能算。這一章把這筆賬拆成三層模型側的增長曲線、系統側的搬運量、器件側的算力存儲比。三層算完架構選型就不是拍腦袋而是被數字推出來的。2.1 參數規(guī)模、算力需求與單芯片面積的三條天花板先看模型側。以注意力機制為基礎的大模型在近幾年呈現出一種近乎失控的增長參數規(guī)模大約每兩年增長 240 倍對應的算力需求增長接近 750 倍。而通用硬件每兩年大約只有 3.1 倍的提升并且已經逼近物理極限。三條曲線放在一張圖上缺口就是逐年拉大的剪刀差這個剪刀差最終會以“推理成本”的形式落到數據中心賬單上。再看制造側。傳統超大規(guī)模、超大面積的單芯片 SoC 方案在面積繼續(xù)放大時會同時遇到四個問題晶圓利用率下降、良率隨面積指數衰減、驗證復雜度失控、設計成本激增。更硬的一條約束是光刻12 英寸晶圓在光刻機的要求下單顆芯片的最大設計面積被限制在 858 mm2 左右掩膜版尺寸本身就是一堵墻。也就是說即使不計成本和良率單芯片路線在面積上也無法再大幅擴展。第三條天花板來自封裝與接口。大模型推理的瓶頸并不在乘加單元本身而在于權重需要從片外存儲反復搬到計算單元。這條通路的帶寬由封裝、接口速率和引腳數共同決定屬于典型的“物理上無法在短期內倍增”的環(huán)節(jié)。三條天花板疊加結論就比較清楚了繼續(xù)沿著單芯片 SoC 增加算力很難可以轉向“把大芯片拆成小芯片再集成”的路線。集成芯粒的思路是先把多個小顆粒芯片獨立設計、獨立實現再通過先進封裝重新組裝成系統。這樣做的好處很直接單顆芯粒面積小、良率高、可復用設計周期短壞處是片間互聯和封裝成為新的約束項必須在架構階段就一并設計不能等到后端再補。2.2 用令牌速率反推帶寬需求一份可以自行復算的推導模型側的賬用一份可執(zhí)行腳本算最清楚。下面這段腳本把“參數量 → 每令牌搬運字節(jié)數 → 帶寬需求”串起來并且把幾種典型架構的接口速率放在一起對比。# 大模型推理帶寬/算力/存儲預算復算腳本 # 所有參數均可替換用于方案階段快速做架構對比 def inference_budget(params_billion, token_rate, weight_bits8, hidden4096, ffn11008, layers32, target_topsNone): params_billion: 模型參數量十億 token_rate: 目標令牌速率令牌/秒 weight_bits: 權重位寬INT8 取 8 hidden/ffn/layers: 全連接層維度用于核算力與存儲 # 1) 每個令牌需要搬運的權重字節(jié)數解碼階段每令牌過一遍全部權重 bytes_per_token params_billion * 1e9 * weight_bits / 8 # 2) 帶寬需求 單令牌搬運量 × 令牌速率 bw_Bps bytes_per_token * token_rate bw_TBps bw_Bps / 1e12 # 3) 三層連續(xù)全連接層FC0/FC1/FC2的算力與存儲 macs_per_layer (hidden * ffn ffn * hidden hidden * hidden) total_macs macs_per_layer * layers tops total_macs * token_rate * 2 / 1e12 # 1 MAC 2 ops capacity_GB total_macs * weight_bits / 8 / 1e9 # 4) 算力存儲比單位 ops/byte數值上等于令牌速率 ratio tops * 1e12 / (capacity_GB * 1e9) return { 帶寬需求(TB/s): round(bw_TBps, 3), 算力需求(TOPS): round(tops, 2), 容量需求(GB): round(capacity_GB, 3), 算力存儲比(ops/byte): round(ratio, 1), } # 70 億參數模型1 萬令牌/秒的實時推理目標 print(inference_budget(7, 10_000)) # 輸出約帶寬 64 TB/s 量級算力 68 TOPS容量 3.4 GB腳本里最關鍵的一行是bytes_per_token。解碼階段每個令牌都要把全部權重過一遍所以帶寬需求等于“參數量 × 位寬 ÷ 8 × 令牌速率”與批大小、序列長度都無關只和模型尺寸與目標速率掛鉤。這解釋了一個常被誤判的現象把令牌速率從每秒 1 個提到每秒 1 萬個算力需求只漲到 68 TOPS對一顆芯片來說并不夸張但帶寬需求漲到了 64 TB/s對任何現有封裝來說都不現實。參數說明與調參建議weight_bits從 8 降到 4帶寬直接減半這也是權重量化在推理側收益立竿見影的原因token_rate是業(yè)務指標做方案論證時應先固定它再倒推硬件而不是先有硬件再編速率。算力存儲比那一項的輸出值在數值上恰好等于令牌速率這個巧合背后是“每字節(jié)權重只參與一次乘加”的解碼特性后面第 3 章會用它來反推存邊架構的并行度設計。對比之下采用分離式計算架構時GPU 與高帶寬存儲之間的數據搬運量就是上面算出來的量級而在存算一體架構里權重常駐陣列接口上只需要搬運輸入激活和輸出結果同樣令牌速率下帶寬需求能壓到每秒幾十吉比特的量級差距超過三個數量級。這不是靠“帶寬優(yōu)化技巧”省出來的而是數據通路結構變了。2.3 算力存儲比大模型和卷積網絡比較數值時需要注意第二個容易被誤用的指標是算力存儲比。拿前面算出的 68 TOPS 與 3.4 GB 相除得到約 20 ops/byte。而經典卷積網絡在圖像任務上的算力存儲比要高出一到兩個數量級通常在每千字節(jié)上百 GOPS 的量級。兩者不是一個量級的負載卷積網絡是計算密集大模型解碼是訪存密集。這個差別直接決定了存儲介質和陣列結構的選法。經典交叉陣列做存內計算時算力存儲比約等于“時鐘頻率 × 2”因為一次陣列級乘加在一個時鐘周期內完成而陣列深度決定了它能裝多少權重。當負載的算力存儲比遠低于這個值時交叉陣列會長時間處于“等數據”的狀態(tài)并行度上不去。針對這一點存邊計算的做法是把乘加邏輯分布在片上權重緩沖 SRAM 的邊緣讓算力存儲比變成“時鐘頻率 × 2 ÷ 存儲深度”。存儲深度可以按宏單元的容量來配等于把算力存儲比做成了一個可調參數而不是被陣列結構鎖死。這個調整聽起來只是公式變化落到實現上意味著權重可以按輸入通道方向切塊、展平后存進不同列輸出通道方向的并行度靠增加宏單元數量來堆近存計算里成熟的數據流映射方法可以直接搬過來用。提示做方案對比時務必把“算力存儲比”和“峰值算力”分開列。只報峰值算力的方案在解碼類負載上通常兌現不了。3. 總體架構設計CPU 與存算一體芯粒的分工與數據流算完賬架構的骨架其實已經被約束住了主機側負責調度、采樣、非矩陣類算子加速側負責全連接層和注意力的矩陣運算兩者之間只走輸入輸出不走權重。這一章把這個骨架展開成可實現的模塊劃分、數據流映射和多芯粒擴展方案。3.1 存算分離與存算一體的數據通路對比分離式架構的數據通路是主機 CPU 通過高速串行總線把請求發(fā)給加速卡加速卡上的計算芯片從外部高帶寬存儲里反復讀取權重算完把結果寫回再經總線返回。這條通路上真正昂貴的不是計算而是“權重讀一遍、用一次、丟掉、下個令牌再讀一遍”。存算一體架構把這條通路改成主機 CPU 通過同一套總線把輸入激活送到存算加速卡權重常駐在加速卡的存算陣列里不動乘加在陣列內部完成只把輸出激活送回主機。外部存儲的角色從“權重的家”降級為“激活的暫存”容量需求和帶寬需求同時下降一個數量級。這里有一個容易在設計文檔里寫漏的點主機側的矢量計算單元和小算力 NPU 并不是冗余的。注意力模塊里的 softmax、層歸一化、掩碼、采樣這些操作計算量不大但訪存模式零碎放在存算陣列里做反而低效。合理的分工是主機側處理這些“非規(guī)則但輕量”的算子存算側只處理“規(guī)則且重”的矩陣乘。方案里如果只畫一顆存算芯片評閱時基本會被問“softmax 在哪算”。從帶寬對比看同為每秒一萬令牌的目標速率分離式架構需要幾十太字節(jié)每秒的片外帶寬存算一體架構只需要每芯粒每秒幾十吉比特量級的接口速率節(jié)省幅度超過三個數量級。這個數字也解釋了為什么單芯粒接口速度可以做得比較保守從而繞開一部分高速接口的工藝與管制約束。3.2 存邊計算架構把乘加邏輯挪到 SRAM 的邊緣存邊計算的物理形態(tài)是一片 SRAM 陣列邊緣掛一排乘加單元和歸約樹權重按行或按列靜態(tài)存放輸入激活從一側流入部分和從另一側匯出。它的好處是既能用上 SRAM 的高能效又不像交叉陣列那樣被陣列深度綁死并行度。數據流映射的具體做法是權重在計算開始前預先加載進宏單元沿輸入通道方向切塊后展平存入宏單元的不同列輸出通道方向的并行度靠堆多個宏單元實現形成空間并行。下面這段配置腳本描述了一次映射的參數組織方式實際綜合時可以把它轉成宏單元的配置寄存器表。# 存邊宏單元的權重組裝與映射配置 # 目標把一層全連接權重切成列塊鋪到 N 個 COMB 宏上 def build_mapping(in_ch, out_ch, macro_cols64, macro_rows256, macros4): in_ch / out_ch: 該層輸入、輸出通道數 macro_cols: 單個宏單元一行能放多少個權重列方向 macro_rows: 單個宏單元能放多少行深度 macros: 并行使用的宏單元顆數 # 每個輸出通道的權重沿輸入通道切塊每塊長度 macro_cols blocks_per_out (in_ch macro_cols - 1) // macro_cols # 輸出通道按宏數量均分實現輸出方向的空間并行 outs_per_macro (out_ch macros - 1) // macros mapping [] for m in range(macros): for b in range(blocks_per_out): mapping.append({ macro: m, block: b, in_start: b * macro_cols, in_end: min((b 1) * macro_cols, in_ch), out_start: m * outs_per_macro, out_end: min((m 1) * outs_per_macro, out_ch), depth_needed: outs_per_macro, # 占用宏單元行數 }) # 校驗占用行數不能超過宏深度否則需要增加宏或二次切分 assert all(x[depth_needed] macro_rows for x in mapping), 宏深度不足 return mapping for item in build_mapping(4096, 11008)[:3]: print(item)macro_cols決定了單次陣列操作的向量寬度macro_rows決定了能同時駐留多少個輸出通道的權重macros決定了輸出方向的空間并行度。三者共同決定算力存儲比。實踐中的調參順序是先按片上 SRAM 總面積和工藝節(jié)點定macro_rows再按目標算力定macros最后用macro_cols對齊位寬和累加器位寬。斷言那一行不是裝飾depth_needed超過宏深度時如果只增加宏數量而不調整切分策略會得到一堆溢出越界的地址仿真階段表現為隨機錯值非常難查。3.3 多芯粒集成的劃分與擴展性單顆芯粒的容量是有上限的。以 12/14 nm 工藝估算一顆 10 TOPS、200 MB 存儲的芯粒計算電路面積約 8 mm2存儲面積約 300 mm2折算下來算力密度只有 0.0325 TOPS/mm2。這個數字說明兩件事一是存儲面積占絕對主導想提高容量只能堆芯粒二是算力密度低不是設計失誤而是這類架構的固有特征方案文檔里必須主動解釋否則會被當成缺陷。四顆 65 nm 的 SRAM 存邊計算芯粒通過扇出型 2.5D 封裝集成在一起是這套方案里比較典型的一個規(guī)模點算力和容量都能獲得接近線性的提升封裝工藝也相對成熟。超過四顆之后映射方法需要重新設計否則算力不會隨芯粒數量線性增長原因在于芯粒間的激活廣播和部分和歸約開始成為瓶頸互聯拓撲和切分粒度都要跟著改。芯粒劃分的一般原則可以歸納成三條把同一層的權重盡量聚在同一顆芯粒上減少跨芯粒的權重訪問把需要頻繁交換部分和的通道切在同一封裝內避免走封裝外總線給每顆芯粒留出獨立的激活緩沖避免共享緩沖成為串行點。3.4 單芯粒預算表方案文檔里必須有的那張表評審看方案第一眼找的就是這張表。缺了它后面的模塊設計再細也會被質疑“沒有量化依據”。項目取值說明工藝節(jié)點12/14 nm 估算決定面積與能效基線單芯粒算力10 TOPSINT8 等效單芯粒容量200 MB片上 SRAM 權重區(qū)計算電路面積約 8 mm2乘加陣列與歸約樹存儲面積約 300 mm2占主導決定了芯粒尺寸算力密度0.0325 TOPS/mm2該類架構的常態(tài)值集成方式扇出型 2.5D 封裝四芯粒為一個規(guī)模點片間接口每芯粒 3264 Gbit/s遠低于分離式架構要求表格里最后一行是這套方案最容易被忽略的價值點因為權重不出片片間接口只需要承載激活和部分和速率要求被壓到很低封裝難度和功耗隨之下降。做方案論證時應該把這一行單獨強調它比“峰值算力多少 TOPS”更能說明架構的合理性。4. 輕量化與存內壓縮的協同設計稀疏網絡在存算陣列上如何稠密映射前面三章解決的是“權重怎么不搬家”這一章解決“權重怎么少占地方”。稀疏化本身并不新鮮難點在于把非結構化剪枝后的稀疏矩陣直接塞進規(guī)則陣列零值仍然要占存儲單元壓縮等于白做。這一章給出的是軟硬件協同的一條路徑剪枝策略、位掩碼編碼、路由網絡三件事必須一起設計。4.1 剪枝子組大小與稀疏率的確定方法稀疏化的兩個關鍵參數是子組大小和稀疏率。子組太大壓縮粒度粗精度掉得快子組太小解碼邏輯復雜位掩碼本身的開銷就吃掉收益。取值不能靠猜要在目標任務上做一輪掃描。掃描的做法是固定子組大小逐步提高稀疏率觀察驗證集指標找到指標開始下降的拐點再把拐點往回退一檔作為工作點。在一組字符級語言建模任務的實驗中子組大小取 32、修剪掉四分之三的權重時網絡性能基本保持不變于是工作點被定為“子組 32、稀疏率 75%”。這個結果不是普適常數換模型、換任務都要重掃但它給出了一個合理的出發(fā)區(qū)間。注意精度拐點必須用最終任務的指標來判定不能用訓練損失代替。訓練損失平穩(wěn)而下游指標下降的情況在這類壓縮里非常常見。4.2 位掩碼編碼與稠密權重的存內組織確定了工作點編碼方式就固定下來了權重向量按子組劃分每組按預定義稀疏度修剪剪枝后的非零權重壓成一個稠密向量同時生成一個等長的比特掩碼用來指示稠密權重在原始向量里的位置。陣列里只存稠密向量掩碼存在旁邊的掩碼存儲里兩者一一對應。下面這段腳本實現了完整的編碼與解碼校驗可以直接拿來驗證編碼邏輯有沒有寫錯。import random def prune_group(weights, sparsity0.75): 按絕對值保留最大的 (1-sparsity) 比例權重返回稠密向量與位掩碼 n len(weights) keep max(1, int(round(n * (1 - sparsity)))) idx sorted(range(n), keylambda i: -abs(weights[i]))[:keep] keep_set set(idx) mask [1 if i in keep_set else 0 for i in range(n)] # 1 表示保留 dense [weights[i] for i in range(n) if mask[i] 1] return dense, mask def prefix_popcount(mask): 前綴 popcount輸出每個位置之前含自身位置前1 的個數 用于把掩碼位置翻譯成稠密向量的下標 out, cnt [], 0 for b in mask: out.append(cnt) cnt b return out # 校驗稠密向量第 k 個元素應該落在掩碼第 prefix_popcount[mask[i]] 位 weights [round(random.uniform(-1, 1), 3) for _ in range(32)] dense, mask prune_group(weights, 0.75) pp prefix_popcount(mask) for i, b in enumerate(mask): if b 1: assert dense[pp[i]] weights[i], 編碼/解碼不一致 print(保留權重數:, len(dense), 掩碼長度:, len(mask))這段代碼的核心是prefix_popcount。它把“原向量第 i 位”翻譯成“稠密向量的第幾個元素”硬件里的實現就是一條掃描鏈加一個計數器。校驗斷言那一行是必須的編碼端和解碼端只要對“前綴是否含自身”的理解差一位整個陣列的輸出就會整體偏移一個位置現象是結果“看起來差不多但精度掉一截”屬于最費時間的 bug 之一。4.3 蝶形路由網絡前綴 popcount 與左旋轉補碼稠密權重準備好了輸入激活還得跟著一起“擠”。原始輸入特征里被剪掉權重對應的那些輸入不需要參與計算必須從輸入向量里挑出來、按順序排好送進陣列。這個重排用蝶形網絡實現多級 2 選 1 的數據分發(fā)單元控制信號由解碼器實時產生。解碼器接收位掩碼生成每一級蝶形的控制比特涉及兩個操作。第一個是前綴 popcount掃描掩碼序列輸出當前位置之前 1 的總數用來確定某個數據該被送到第幾個輸出口。第二個是左旋轉補碼LRCW本質是一次循環(huán)左移唯一區(qū)別是移位量在運算過程中以補碼形式表示用來在每一級修正路由偏移。def lrcw_shift(src_bits, shift, width): 左旋轉補碼循環(huán)左移移位量按補碼解釋負值等價于反向旋轉 shift % width # 補碼語義下先歸一化到位寬范圍 return ((src_bits shift) | (src_bits (width - shift))) ((1 width) - 1) def butterfly_route(inputs, mask, stages): 按位掩碼把輸入特征路由到稠密位置stages 為蝶形級數 width len(inputs) assert width (1 stages), 輸入長度需為 2 的整數次冪 idx [i for i, b in enumerate(mask) if b 1] routed [inputs[i] for i in idx] # 硬件中每級只做一次局部交換這里用軟件等價描述便于驗證 ctrl lrcw_shift(0b0011, 1, 4) assert ctrl in range(1 4) return routed print(butterfly_route(list(range(8)), [0,1,1,0,1,0,0,1], 3)) # 期望輸出[1, 2, 4, 7]軟件描述里看不出并行性硬件上則是每一級只做一次相鄰或跨組的 2 選 1 交換級數等于輸入長度的以 2 為底對數延遲對輸入長度是對數關系。設計時的關鍵約束是路由網絡的控制信號必須在同一拍內產生不能跨拍否則數據流水的節(jié)拍會被解碼器拖住。這也是為什么解碼器要用純組合邏輯加前綴樹而不是塞進一條通用流水線。4.4 28 nm 驗證芯片的指標拆解這套協同設計在一顆 28 nm 工藝的驗證芯片上做過實現指標可以按維度拆開看。指標數值讀法工藝 / 精度28 nm / INT8定制 SRAM 位單元陣列規(guī)模96 kB宏單元 80 kB 量級、系統緩沖 64 kB 量級工作頻率320 MHz電壓 0.641.03 V總功耗250.65 mW含控制器與全局聚合峰值性能3.3 TOPS已計入 75% 稀疏率芯片面積3.93 mm2含 8 個功能單元與特征存儲面積效率0.85 TOPS/mm2峰值性能 ÷ 面積系統能效11.83 / 25.22 TOPS/W生成 QKV / 整體注意力能效拆成兩個值來報是有意為之。生成查詢、鍵、值矩陣這一步是全連接層的稠密計算能效體現的是陣列本身的水平整體注意力包含了路由與聚合的開銷能效體現的是協同設計的水平。兩個數一起看才能判斷存內壓縮到底有沒有帶來凈收益。如果只報前一個數評審很容易問“壓縮開銷算了嗎”答不上來就會顯得方案不完整。5. 常見問題與排查從建模到流片最容易出問題的五個點方案寫到這一章之前都是“應該怎樣”這一章說“實際會怎樣”。下面五條都是在同類項目里反復出現的問題按“現象 → 原因 → 解決”組織做成檢查清單比任何設計原則都省時間。5.1 稀疏率按經驗設定精度下降后才發(fā)現子組大小取錯現象編碼和陣列仿真都通過功能正確但任務指標比基線低了兩三個點重訓也拉不回來。原因子組大小是按“常見值”設定的沒有在目標任務上掃過拐點。子組過大時一個子組里被剪掉的權重分布與權重的重要性分布不匹配等價于做了一次粗粒度的結構破壞子組過小時位掩碼的相對開銷變高壓縮收益被吃掉而精度又沒變好。解決把子組大小和稀疏率做成二維掃描表每一格記錄指標取“指標不下降前提下壓縮比最高”的那一格。掃描成本遠低于后期返工。經驗上字符級建模任務在子組 32、稀疏率 75% 附近比較穩(wěn)但換任務必須重掃。5.2 交叉陣列里零權重未清干凈稠密映射實際未生效現象陣列規(guī)??雌饋頉]變功耗反而略微上升性能提升遠小于預期。原因非結構化剪枝后的矩陣在映射到規(guī)則陣列時被剪掉的位置如果沒有做顯式清零或旁路存儲單元里殘留的是舊值或隨機初值。計算仍然執(zhí)行但貢獻了錯誤的項為了修正它又加了額外的門控邏輯功耗就上去了。解決在映射流程里加一道強制檢查遍歷所有被剪枝的位置確認寫入的是零或已被旁路使能覆蓋。上面 4.2 節(jié)的編碼校驗腳本可以直接擴展成這一檢查把斷言從“保留位一致”擴到“裁剪位為零”。5.3 芯粒數量一增加算力不線性增長現象從四顆芯粒擴到八顆仿真出來的算力只有預期的六成左右增加芯粒帶來的收益遞減明顯。原因跨芯粒的部分和歸約和激活廣播開始成為瓶頸原來的切分策略是按四顆設計的切分粒度太粗導致每一層都要跨封裝交換中間結果?;ヂ撏負錄]有跟著調串行點就出現了。解決先做一次互聯流量統計找出跨芯粒流量最大的那幾層把切分粒度沿輸出通道方向細化同時給每顆芯粒配獨立激活緩沖把共享緩沖改成點對點。芯粒規(guī)模繼續(xù)往上時映射方法本身要重做不能沿用四芯粒的配置。5.4 只按峰值算力做功耗預算忽略封裝與散熱現象架構仿真完美熱仿真一跑結溫超標標稱頻率降不下來實測性能只有設計值的七成。原因存算一體架構的算力密度低但存儲面積大熱量分布很不均勻乘加陣列集中在邊緣SRAM 陣列鋪滿大部分面積峰值算力對應的功耗峰值集中在少數熱點上。按平均功耗做散熱設計熱點必然超標。解決把功耗預算按區(qū)域拆分別給計算邊緣區(qū)和存儲區(qū)設定功耗密度上限熱仿真按區(qū)域熱點而不是平均功耗跑。封裝選型時把熱阻作為與帶寬同級的指標來評估。5.5 仿真用理想 SRAM 模型流片后時序不達標現象RTL 仿真和門級仿真都過流片回來頻率上不到目標值或者良率異常低。原因存內計算對 SRAM 位單元的讀寫裕度極其敏感行為級模型里讀操作是零延遲、無窮驅動實際位單元在低壓下讀出擺幅很小加上陣列規(guī)模大、走線長時序和噪聲裕度都不夠。定制位單元的晶體管數量、驅動能力、讀出放大器閾值這些參數在前期模型里常被簡化。解決從設計第一天起就用帶時序與噪聲的存儲器模型關鍵路徑上跑蒙特卡洛對低壓工作點單獨做讀寫裕度分析把最低工作電壓留出足夠余量。這條問題的成本很高屬于前期少做一步、后期多花幾個月的那類問題。6. 驗收與答辯用一組可復算的指標證明架構成立方案交上去評審通常只做三件事看你的賬算不算得清、看你的結構能不能對得上賬、看你有沒有驗證過。所以答辯材料不要從“技術趨勢”講起從一張指標表講起讓每一個數字都能被現場的追問追到底。第一層是帶寬賬。開口就給出目標令牌速率下的帶寬需求以及存算一體架構下的接口速率兩者放在同一張表里標注清楚算法和公式。這一層的作用是確立問題真實存在并且你的架構確實把它解決了。評審如果追問“為什么是這個速率”現場用 2.2 節(jié)的腳本心算一遍比任何解釋都有說服力。第二層是容量與并行度。給出單芯粒容量、宏單元深度、輸出通道并行度三者的關系式說明在給定面積下為什么選這個組合。這一層最容易被問的是“為什么不多堆幾顆芯?!贝鸢敢?5.3 節(jié)的擴展性分析來接承認非線性并給出拐點位置比硬說線性更可信。第三層是稀疏協同的凈收益。把壓縮前后的存儲占用、能效、精度三項并列明確說明壓縮開銷已經計入。用 4.4 節(jié)那張表的形式把生成 QKV 的能效和整體注意力的能效分開報。第四層是覆蓋面。至少在三個維度上有驗證數據功能層編碼解碼一致性、架構層映射后的算力與容量、實現層時序、面積、功耗。只有功能仿真而沒有實現層數據是這類方案最常見的失分點。驗收維度交付物通過判據帶寬論證公式 復算腳本 對比表目標速率下接口需求低于封裝能力容量規(guī)劃芯粒預算表 映射配置權重全部駐留無跨芯粒權重訪問稀疏協同編碼校驗輸出 精度對照指標不降壓縮比達標擴展性四芯粒與八芯粒對照明確拐點與瓶頸位置實現層時序、面積、功耗匯總低壓工作點有裕度余量答辯現場還有一個很實際的小技巧把最容易出錯的兩條5.2 的零權重未清、5.5 的存儲器模型過理想主動寫進“已識別風險”那一頁附上你的應對措施。評審看到你自己先把問題擺出來追問的火力會明顯下降剩下的時間就能用來講你的架構亮點。反過來被現場問出一個你完全沒想過的坑前面所有數字的可信度都會打折。從那以后我每次帶這類硬件架構方案都強制走一遍“算賬 → 畫表 → 復算腳本 → 風險頁”這四步哪怕時間再緊也不跳。翻車的方案幾乎都不是因為想法不對而是因為某筆賬只在腦子里算過、沒落到紙上、也沒被第二個人復算過。希望這套結構能幫到你把手上那份方案從“看起來有道理”變成“經得起追問”。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷伊人久久| 色色日本欧美| 日本WwW色偷偷丁香花久久久京东热| 香蕉婷婷| 99久热在线精品| 五月婷婷综合在线视频| 色五月天综合网| 婷婷五月在线| 97干视频在线| AV堂狠狠干| 五月婷激情影院| 99人人精品| 五月六月婷婷| 成人婷99最新| 日韩999| 丁香av网| 婷婷五月天视频亚洲| 丁J香六月首页| 久机视频这只有精品| 在线看片h站| 91婷婷五月天综合视频| 天堂网操| 婷婷综合网| www.色九月| 国产美女视频久| 婷久久久| 天天天天天天天操| 精品婷婷丁香五| 五月丁香六月香综合激情| 久婷婷视平| 天天日天天爱天天噪| 色很久综合| 看全色黄大色大片| 色色色综合视频| 色欧美一级| 色久激情在线| 婷婷五月丁香久久| 综合久久五| 丁香婷婷基地| 侠女刀之记忆电影在线看免费| 色一情一乱一伦一区二区三区| 亚洲、热| 欧美精品99| 九九精品热| 国产美女精品| 色五月中文字幕| 五月丁香六月婷婷综合网| 99热欧美| 亚洲天天| 色综合播放| www99精品在线观看| 成年人丁香五月| 激情五月丁香五月| 色婷婷精品视频在线播放| 六月婷久久| 深夜男女福利刺激影院一区| 丁香五月伊人| 久久人人看| 激情六月五月婷婷综合网| 五月婷护士| 精品人人操| 丁香六月av| 国内久久婷婷| 99热成人| www.五月婷婷| 成人精品亚洲性爱| 婷婷五月天深爱| 亚洲xx网| 色婷婷很很十八禁| 国产亚洲色婷婷久久99精品91| 操射国产日本| caopeng超碰| 五月丁小婷婷激情四射| 狠狠色婷婷777| 婷婷在线免费| 五月综合在线婷婷图片| 亚洲AV综合在线观看| 草草女人亚洲| 九九色热| 久久综合激情| 婷婷五月丁香六月| 99热精地址| 色就是色婷婷五月亚洲激情| 九九综合色综合| 国产一级片| 婷婷五月天com| 国产日韩av片| 色综合久久88色综合天天| 四色永久成人网站| 综合色图区| 丁香久久久| 久久婷婷五| 国产真人做爰视频免费| 91丨九色丨大屁股| 激情影院丁香五月| 天天做 天天爱| 99在线观看视频免费| 91超级碰人人操| www.久久99| 激情性爱五月| 日日操夜夜撸| 深夜A片| 五月丁香六月婷婷亚洲天堂网站| 一级七香蕉| 国产暴力强伦轩1区二区小说| 丝袜激情网| 丁香五月天五码婷婷| 日韩影院三级| 91干视频| 人妻久热| 成人综合AV| 99精彩视频网站在线| 可以看的AV| 天天综合色| 丁香五月网络网络| 蜜乳.comcom| 99热老网站| 开心久久网婷婷| 久久综合婷婷激情| 97在线观视频免费观看| 97精品人人A片免费看| 婷婷九月| 色色网站| 国产精品99久久久久久久女警| 五月天婷婷影院| 婷婷六月情| 亚洲VA在线| 全国最新疫情| 91制片厂久久久国产电影| 99热18| 99操视频| 91久久婷婷| 精品久久66| 婷婷丁香色五月久久88| 都市激情小说婷婷| 久久久精品色色色| 天天插天天爽| 婷婷综合亚洲| 国产成人亚洲综合A∨婷婷| 激情性爱网站| 亚洲精品又粗又大又爽A片 | 亚洲性爱AV在线| 99在线免费视频| 五月婷久久| 色色色国产| 五月 成人 婷婷| 91超级碰在线视频| av狠狠操| 国产精品久久久久久久久久免费| 99精品视频播放| 玖玖婷婷色欲| 久久色五月天| 秋霞三级色戒| 狠狠狠狠狠狠草| 亚州视频九九99| 久久成人精品视频| 99综合| 丁香婷婷激情网站| 丁香婷婷成人网站| 在线不卡视频| 精品欧美一区二区三区久久久| 日本三级中文字幕| 人人操AV| 毛片九九九九九九| 99热欧美精品| 欧美婷婷丁香五月社区| 五月婷婷久久开心网| 很很操很很操| 丁香六月五月婷婷| 九九操操| 日本无码专区| 91婷婷在线观看| 九热精品| 99激情视频热| 99热成人在线观看| 99热都是精品| 欧美 色婷婷| 91美女啪啪| 一本色道久久88加勒比—| 99热都是精品| 天天爽天天草| 日韩成人免费电影| 欧美性爱专区| 色婷婷操逼| 婷婷九月色| 少妇久久诱惑视频| 日本婷久久| 91九色网| 日本精品干| 思思热国产视频| 亚洲性爱日韩无码| 大香蕉久久| 国产无遮挡又黄又爽免费网站| 丁香社92视频| 色丁香五月婷婷婷| 五月丁香婷婷AV| 原琪琪色影院| 一本色道久久综合狠狠躁一二三| 丁香五月AV| 激情AV在线| 五月激情综合激情五月| 九九99热| 六月婷婷综合网2| 亚洲在线视频321| 综合激情伊人影视在线| 婷婷五月天a| 丁香五月社区| 亚州美女| 亚洲AV网站| 六月婷婷色宗合| 欧美色99| 婷婷综合丁香| 久久五月天大美女| 99毛片| 亚洲精品又粗又大又爽A片 | 91干在线| 天天舔天天摸天天透| 婷婷五月天av| 欧美日本不卡黄色片| av在线免费播放| 玖玖九九99| 色五开心五月五月深深爱| 久久婷婷综合五月天| 婷婷五月综合丁香久久| 五月丁香婷婷无码中文| 丁香五月伊人| 亚洲成人av在线观看| 色亚洲中文| 五月婷婷五月色| 四虎国产精品永久在线国在线| 秋霞少妇AV网站| 亚洲第一黄网| 色老久久| 欧美婷婷丁香五月| 这里只有精品69| 99精品网| 激情网第九色| 91热久久| 99热精品10| 激情小说 五月天| 大学生高潮无套内谢视频| 婷婷射综合| 伊人久久五月天综合| 五月天婷婷色综合| 色999五月色| 九九热这里只有精品6| 超碰成人黄色网| 丁香六月啪啪| 久久九九99| 超碰99热精品| 九色啦蜜臀| 99视频日韩| 五月色婷婷综合丁香精品无遮挡| 性爱综合网| 99操| 另类视频在线| 91九色网| 婷婷99狠狠| 五月丁香综合激情网| 五月婷婷激情久久| 婷婷丁香综合在线| 无码任你操| 国产精产国品一二三在观看| 五月丁香六月婷婷不卡免费无码 | 亚洲另类婷婷综合| 色婷婷天堂| 激情伊人五月天| 狠狠精品干练久久久无码中文字幕 | 91久久电影| 五月丁花色综合网| 色五月丁香A欧美com| 国产裸舞福利资源在线视频| 亚洲乱码日产精品BD| 再綫Av免费視品| 五月天激情久久| 亚洲成人综合在线| 狠狠色丁香| 国产亚洲99| 97干网站| av 一区三区四区| 久久伊人五月天| 99久久99九九99九九九| 色九网| 婷婷色中文| 91热网址| wwwss在线观看| 99色色网| 人人操Av| 久久婷婷五月综合色丁香花| 99视频这里只有精品10| 久久久.COM| 成片免费播放| 婷婷舔| 男女啪啪做爰高潮无遮挡| 26UUU在线观看| 婷婷影院A成人| 天天色综合网1| 亚洲六月色| 天天插天天| 久久久久久久久久久jjjj| 欧美α√| 色婷婷视频| 99热这里只有精品在线| 亚洲综合五月天综合| 青青草视频免费观看| 青青福利网| 大鸡巴伊人网| 极品另类| 天天 青草 制服丝袜 在线| 青草视频在线观看视频| 婷婷五月天美女视频| 丁香婷婷久久综合在线| 亚洲成人网站在线播放| 五月丁香五月丁香| 天啪天啪天啪天啪| 99色在线| 婷婷激情五月综合基地| 大香蕉在线观看9| 91丨九色丨熟女丰满| 日韩一级A片黄色| 激情综合无码| 丁香五月天BBw| 色婷婷在线影院| 成人看片网站| 丁香六月无码播放| 久久99激情| 五月婷婷六月丁香| 99热这里有精力| 国产精品成人AV在线| 一本色道久久综合狠狠躁小说| 日韩好吊操| 色婷网站| 婷婷五月激情综合| 亚洲人妻五月丁香婷婷| 99色色网| 97超碰免费超级在线观看| 天天狠狠六月婷丁香影院| 超碰人人操人人干| 日韩精品VIP| 久操人妻| 吉澤明步Av一區二區| 丁香五月婷婷激情尤物| 91肏肏肏| 91一起艹| 天天色宗合| 丁香五月激情综合| 热996精品在线观看| 色香欲综合| 婷婷五月综合欧美在线播放| 五月丁香久人妻中文| 这里只有精品视频| 99操久久| 五月花在线观看视频| 婷婷综合| 五月婷婷丁香六月 | 91精品电影18T| 91热久| 色色色图| 五月丁香六月婷婷激情网| 99丁香五月婷| 国产精品色婷婷久久久精品| 欧美亚洲色色色色| 成人va在线播放| 激情五月天激情五月天| 五月天四色房丁香| 五月丁香爱婷婷深深| 人妻在线网站| 人操综合| 亚洲成人在线播放| 99激情网| 99这里只有精品视频| 天天综合.com| www.激情五月天。com| 免费看片操逼| 婷婷五月丁香四射| 婷婷综合性爱网| 亚洲这里只有精品| 婷婷在线综合| 激情五月天综合网| 天天色综合网1| av婷婷丁香 六月| 99热这里有精品首页10| 丁香五月婷婷久久久| 色婷婷成人做爰A片免费看网站 | 九九这里都是精品| 婷婷色丁香五月| 99re鈥哸鈥唙| 开心五月丁香啪| 丁香五月婷婷六月婷婷| 五月丁香久久网| 丁香五月黄色| 婷婷94s| 97在线观视频免费观看| 人妻熟女一区二区AV| 婷婷六月激情| 色综合色色色| 夜夜干 夜夜操| 99玖玖免费视频| 久久婷婷五月综合色奶水99啪| 91婷婷五月天嫩女| 亚洲婷婷免费| 精品久久99码| 五月天色社区| 99精品大片| 激情小说 五月天| 逼逼AV| 韩国情人在线电视剧免费观看高清版全集 | 激情综合网五月激情| 亚洲性色XXXXX| 五月丁香六月激情网| 4399在线日本A片| 91精品人妻少妇无码影院| 伊人影院久久网| 亚洲九九99精品视频在线播放| 狠狠精品干练久久久无码中文字幕| 久久久中文| 久久久WWW| 九九热99免费视频| 激情五月天视频| 久久亚洲婷婷| 99热精品免费| 婷婷五月色| 激情综合五月婷婷| 婷婷色情 | 婷婷中文字幕欧美| 狠狠色九月| 亚洲蜜乳AV| 97色啪| AV在线观看网站| 久久激情视频99| 伍月婷婷免费视频| 99亚洲大片精品永久在线观看 | 99自拍网| 亚洲夜五月| 五月色视频| 亚洲色激婷| 婷婷丁香五另类网站| 五月丁香 啪啪啪| 丁香五月天欧美在线| 国产精品久久久丁香五月八戒视频| 五月丁香婷婷伊人| 婷婷五月天激情丁香| 五月婷婷六月丁香综合在线| 女同激情久久av久久| 久久人操| 秋霞AV吧| 婷婷久久免费| 思思久久99热| 国产日韩亚洲欧美在线观看| www.色综合.com| 久热伊人| 国产内射婷婷| 色色五月天丁香| 五月激情四射婷婷丁香| 日日肏夜夜干| 囯产精品久久欠久久久久久九大| 五月色丁香| 性欧美大战久久久久久久83| 激情丁香久久久久久| 婷婷综合在线| 免费视频这里只有精品| 天天爽天天爽| 99热精品在线播放| 182.t午在线观看| 久久婷.com| 77799热| 棕合影院色色| 日本不卡中文字幕| 亚洲人人操BD| 欧美人人操| 狠狠色综合网| 99视频综合网| 热久久77777| 伊人AV五月婷| 色色色图| 欧美色碰| 狠狠搞综合色| 九九热精品99| 中国女人做爰A片| 丁香五月激情网| 久久九九免费大视频| 好激情在线综合网| 色色五月天激情| 久久人视频| 99久久久| 高清无码入口| 六月色丁香婷婷| 九月丁香婷婷综合| 五月婷婷啪啪啪啪| 在线视频你懂得| 九九九九热99超碰| 五月天五月色婷婷综合| 丰满人妻一区二区三区| 九九XX视频| 97在线精品| 深夜A片| 色五月五月婷婷| 人人操操| 亚洲丁香五月在线观看| 99久久9| 成人电影AV在线观看| 激情婷婷另类| 五月天色区| 91丨人妻丨国产丨丝袜| 五月丁香狠狠| 成人国产欧美大片一区| www久久久| 婷婷久久综合| 激情综合五月丁香六月婷婷| 99热精品网| 在线观看av网站| 99超级超级超级碰| 亚洲看av的网站| 青青草激情网| 五月激情视频| 婷婷色色丁香五月天| 99久久超级| 日本丁香五月婷婷| 欧美交换配乱吟粗大25P| 色99日韩| 另类 在线| 96精品国产综合久久久久久| 狠狠狠狠狠草| 日本欧美成人片AAAA| 91超碰在线观看| 1区2区视频| 五月婷综合| 五月天婷爱综合| 国产成人+综合亚洲+天堂| 伊人干综合| 五月婷婷,狠狠操| 91av色色乱视频| 99热成人在线观看| 五月婷婷碰碰| 天天情色五月天| 色色亚洲| 99人这里只有精品| 国产精品色| 婷婷精品| 五月婷婷五月天| wWW九九在线播放| 天天日天天舔| 91视频五月丁香| 综合激情视频| 九伊人网| 五月婷婷三级| 91碰碰视频| 亚洲人成色A777777在线观看| 亚洲成人AV在线| 日韩aaa| 啪啪操操| AV色婷婷| 67194成I人在线观看线路1| www.婷婷五月天| 91超碰在线观看| 狠狠久久婷五月| 9久久久久| 99自拍视频在线| 国产精品电影| 色情五月丁香婷婷网| 五月激情视频| 丁香五月婷婷成人网| 中日韩美欧成人一区二区精品在线| 六月丁香婷啪射| 黑人巨粗进入警花疼哭A片| 极品人妻videosss人妻| httpwww色com日本| 色婷婷亚洲五月天| 97超级碰碰碰| 91se在线视频| 爱之国产色情综合| 日本视频久久| 五月婷婷激情视频| 91精产品自偷自偷综合| 婷婷激情综合网| 日韩婷婷五月| 婷婷五月天桃花网| 日韩色五月| 五月婷婷,狠狠操| 久色大| 色~性~乱~伦~噜| 狠狠色成人影片| 色五月久久成人婷婷| 丁香五月亚洲综合| 91久久五月天| 人人爽人人射-美女久久久久久久久久-成人AV | 成人在线99| 天天爽日日搞| 五月婷婷丁香综合,亚洲天堂| 色婷婷的五月天| www色五月| 99热这里是精品| www、色色色| 色五婷婷| 99色婷婷视频| 欧美丁香婷婷五月| 黄色激情久久| 欧美性猛交XXXX乱大交极品| 情趣视频66| 91色九| 成人片在线播放| 五月丁香六月激情啪| 国产亚洲网站在线| 婷婷在线精品| 天天干狠狠| 五月丁香影院| 九热网站| 亭亭色色五月天| 婷婷丁香人妻久久在线观看| 91色噜噜狠狠狠狠色综合| 天天干天天爽| 久久偷拍综合五月天| 婷婷五月激情网站| WWW久久99久久99久久| 五月天丁香婷婷社区| 精品视频这里只有精品| 久久五月婷婷视频| 婷婷中文字幕| 99精品视频免费观看| 婷婷综合久久| 激情AV中文| 99热官网| 精品人妻在线| 天天爽夜夜爽| 丁香婷婷久久| 美国天天操无码| 天天干天天色综合| 丁香五月激情婷婷婷婷在线观看| 丁香五月激情天AV无码| 99精品女人天堂| 丁香六月婷婷| 婷婷精品视频| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 亚洲天堂AV综合网| 亚洲AV免费在线| 99热这里是精品| 伊人丁香五月| WWW.天天日| 日本在线视频看se99| 婷婷五月天网| 久婷五月| 日本色色网站| 婷婷色欧美激情| 精品九九在线观看视频| 亚洲第一成人无码A片| 五月天婷婷无码| 99热综合| 色综合久久久久| 这里只有精品久久| 久久九九蜜| 这里只有精品视频在线观看免费| 日本一道久久| 青996青| 1024人妻无码中文字幕| 精品一区二区三区四区五区六区| 伊人啪啪网| 99色在线视频| 精品久久66| 久久五月天综合视频网站| 五月天久久综合| 9热久久在线| 天久综合91综合首页| 五月天激情小说| 婷婷色在线| 日日夜夜干| 思思re视频在线| 色必久悠悠影院| 亚洲激情网| 大香蕉婷婷五月| 国产精品国产| 色月丁| 丁香五月激情五月| 综合久久十三| 人人摸人人干| 五月丁香综合色婷婷| 国产亚洲精品久久久久久郑州| 六月婷婷五月丁香| 五月天婷婷激情在线色图| 成人 视频免费观看网站| 婷婷五月天成人小说| 九九精品在线观看视频6| A A色色| 伊人五月久久| 九九热在线观看视频网站| 丁香五月婷婷成人色区| 开心五月婷婷六月丁香| 亚洲在线激情婷婷五月| 思思久久96热在精品国产,| 色五月婷婷丁香国产在线| 色噜噜狠狠色综合AV兰草影视| 午夜色婷婷| 婷婷和五月天| 人人爽人人射-美女久久久久久久久久-成人AV | 99免费青青蜜臀| 五月天激情啪啪| 婷婷伊人75| 中文字幕,综合,91| 色综合丁香婷婷| 亚洲超碰在线| 九九综合视频在线观看| 欧美五月丁香啪啪响视频| 久久综合热17c| 天天狠狠插| 97久久香草精品视频| 狠狠干总合| 天天精品视频在线观看视频| 婷婷五月天在线观看免费| 精品成人a v无码内射| 开心五月婷婷| 99久久综合网| 91久久久久久| 免看黄大片AA | 九九九AAA热视频| 色婷婷文字幕| 亚洲婷婷91丁香| 成人五月天色天堂| 日韩久久这里只有精品| 五月激情六月综合| 色五月婷婷在线| 激情小说婷婷| 欧美性做爰大片免费看办公室| 色五月丁香五| 久久嘟嘟丁香| 婷婷五月天激情网| 天天久久综合| 996热re视频精品视频这里| 青草少妇激情| 国产精品久久..4399| 涩涩五月天| 超碰cap| 婷婷的色色五月天| 九九Av| 久久机只有这里精品| 99热国产这里只有精品| 婷婷丁香五另类网站| 欧美色色色| www,99色| 久久大香蕉| 久色五月婷婷综合| 欧洲一区二区| 专区无日本视频高清8| 久久99草五月婷婷| 久久婷婷五月综合色奶水99啪| 亚洲欧洲色色| 九九婷婷网五月天| 六月激情婷婷| 日韩操啪| 天天肏屄夜夜爽| 天天舔天天摸视频| 色欲色香综合网| 亚洲亚洲人成综合网络| 2020日日干| 再次出发二| 丁香午夜天| 婷婷综合五月天| 99热很操老逼| 五月天色播网| 激情五月天伊人av| 五月丁香综合激情| 激情五月天情色| 天天色月| 99热99热在线| 婷婷九月| 色综合香蕉| 综合色天天| 99精品网| 黑人糟蹋人妻HD中文字幕| 婷婷激情五月天小说| 天天日夜夜B久久| 六月丁香综合| 亚洲精品字幕在线观看| 大香蕉狠狠爱主页| 国产丁香五月天婷婷| 丁香五月人妻| 在线视频婷婷| 香蕉久久国产AV一区二区| 丁香九月婷婷色| 婷婷五月天开心网| 五月婷婷黄| wwccc久久久| 日本色99| 97成人丁香| 人人爱干人人爱草| 丁香五月先锋| 婷婷丁香大香蕉| 国产 码在线成人网站| 狠狠干在线| 午夜天堂一区人妻| 丁香九月婷婷综合| 99热这里只| 91男同视频| 久久精品爱爱| 97色片| 97伦色婷婷| 激情网狠狠干| 成人丁香五月| 五月婷婷色白丝| 婷婷五月天激情综合深爱| 色色婷婷五月| 色婷婷91| 狠狠色综合久久| 亚洲无AV在线中文字幕| 久久精彩免费视频精彩免费视频| 丁香五月激情五月| 国产av网| 思思热精品免费视频| 九九这里有精品| 99re久热只有精品6在线直播.com| 极品五月天| 无码少妇高潮喷水A片免费| 九九色婷婷| 色综合天天| 免费V片在线| 大伊久久| 国产精品久久久久久妇女6080| 91热99| 五月天婷婷色色网| 啪啪东京热| 这里只有免费精品| 爱99干99| 五月丁香六月婷婷色| 激情综合五月| 久婷婷五月丁香在线观看| 啪啪色区| 色播五月天婷婷老师| 色五月天综合网| 影音先锋AV男人站| 夜夜天天久久婷婷| 99精品视频在线观看| 婷婷五月天中文字幕.| 激情丁香婷婷| 激情伊人| 激情婷婷色色| 九九色人| www.五月.com| 五月六月播婷婷| 久热无码| 色情五月天视频网| 婷婷色九月| 成人精品人妻| 色99在线视频| 97色婷| 日韩黄黄| 99 热国产在| 狠狠穞A片一區二區三區| 99热福利| 在线99热| 五月丁香激情综合欧美| 丁香五月五月婷婷欧美大香蕉| 人妻性爱av网站| 日本天天色| bbwcuckold精品熟妇| 久久婷婷五月天| 能看的av片| 色五月丁香com| 996日日爱| 一区无码| 99热只有| 大香蕉久艹| 热久久这里只有精品| 免费AAAAA网| 精品一二三区久久AAA片| 丁香开心深爱| 九九丁香社区欧美激情| 综合久久人妻| 久久99精品久久久久久三级| 婷婷五月天激情小说| 掩去也综合五月视频| 天天天天干| 99re思思精品在线观看| 婷婷免费视频| 99成人| 色五月综合网| 激情99| 五月天激情视频网站| 国产婷婷久久| 99人碰碰碰| 五月天六月丁香| 九九丁香社区欧美激情| 五月丁香六月情| 亚洲av综合网| 青青久在线视频免费观看| 色婷婷综合网站| 激情综合色婷婷啪啪六月天| AV九九| 插少妇综合网| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 福利视频在线播放| 婷婷五月色网| 欲求不满的人妻| 婷婷色九月| 丁香五月激情婷婷视频| .青娱乐天天操B| 五月丁香成人小说| 丁香六月婷婷综合色| 久久九久久| 久久92| 婷婷丁香高潮了| 亚洲视频码| 五月丁香六月婷综合成人综合| 婷婷黄色五月天在线视频| 日韩成人影片在线观看| www.五月婷婷久久.com| 成人AV在线网站| 国产美女主播vip| 99成人| 99色性爰网络| 五月丁香网av| 99热久久日本| 五月婷婷基地| 丁香六月激情国产| www.激情五月天。com| 在线看AV| 中文字幕在线观看视频www| 五月天婷婷深深爱| 91在线日| 97超级碰人人| 9l视频自拍九色9l视频自拍九色9l社区| 激情五月天在线| 五月丁香成年黄色| 香蕉久久国产AV一区二区| 色五月成人| 丁香五月天欧美| 激情婷婷五月| 婷婷综合国产| www.婷婷六月天| 五月丁香六月婷婷国产视频| 激情五月天激情网| 嫩草视频观看| 国产精品色| 亚洲啪啪网| 亚洲激情精品| 天天爽夜夜爽夜夜爽精| 3p久久| 天天色天天操天天射| 三级黄网站| 色婷婷成人| 久婷婷久草| 色久九| 99re资源在线视频导航| 五月在线| 超碰国产在线观看| 天堂AV在线看| 丁香色情五月天| 六月婷婷综合久久| 五月天婷婷丁香成人网| 99无码| 玖玖爱综合网| 五月天网站亭亭| 久久久久久草黄色片AV在线观看| 久久丝袜婷婷| 超碰五月婷婷五月天| 色婷婷小说| 激情丁香五月| 成人在线网址| 激情AV在线| 天天爽天天| 国产午夜精品久久久观看| 天天综合.com| 色日本丁香婷婷| 欧美色图天堂网| 香蕉国产2013| 我去色色网五雨天| 丁香五月婷婷久久久| 国产黄色在线观看| 热99在线精品| 色偷偷色婷婷| 激情婷婷五月天日本系列| 婷婷5月色| 大香蕉人妻| 国产精品日日躁夜夜躁| 五月婷婷www| 激情婷婷五月社区| 亚洲AV免费在线| 思思热在线播放| 高清视频一区| www.黄色片-久久成人国产精品在线播放-999AV| 无码网站视频| 婷婷五月天亚洲丁香| 五月天久久婷婷婷| 九九热10| 欧美亚洲成人在线| 久久青青日本视频| 婷婷色网址| 久久婷婷五月天丁香| 五月丁久久| 超pen个人视频97| 99热这里有精品| 婷婷五月av| 97婷婷色| 九久9精品| 久久久18| 日日色综合| www.婷婷五月天.com| 五月丁香亚洲综合| 人人摸人人| 五月丁香六月婷| 久热9| 香蕉AV福利精品导航| 国产精产国品一二三在观看| 丰满少妇猛烈A片免费看观看| 激情综合久久| 91人妻PORNY九色大屁股| a久久| 91久久九久久九久久九久久九久久| 丁香五月Av| 久久精品人妻| 一区视频网站| 丁香激情久久| 99热.com| 1000部毛片A片免费观看| 久久久久久综合88| 国产在这里只有精品| 亚洲精品无码久久| 夜夜躁爽日日| 99热综合| 中文字幕乱码亚洲精品一区| 亚洲精品久久久无码| 久久六月婷婷| 久久五月婷综合网| 91热视频色网站| 91爱操| 九九综合精品| 五月天五月婷五月激情网| 五月天久久综合婷婷丁香| 日日干天天爽| 九九精品综合| 五月天婷婷基地| 香蕉AV777XXX色综合一区| 六月丁香五月婷婷| 激情5月婷婷| 久久久婷婷色五月资源网| 99久久www| 99无码视频| 婷婷五月天成人动漫 | 五月激情六月综合| 操碰99| 亚洲综合五月天| 激情婷婷丁香| 狼友超碰| 婷婷五月播| 天天综合五月| 天天日日夜夜| 伊人在线视频| 丁香五月开心七月| 五月婷婷婷综合网| 人人草成人视频| 五月花婷婷丁香| 97在线碰| 9久热精品在线视频| 人妻激情网| 欧美成人无码高清一区二区三区| 天天婷婷天天| 五月天婷婷综合网| 无遮挡国产高潮视频免费观看| 丁香婷婷九月在线| 久久久性爱视频| 五月婷婷免费在线观看| 在线观看婷婷5月| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 婷婷五月天午夜激情影院| 中文字幕成人| 亚洲欧美999| 99碰碰| 99re久热| 五月天婷婷综合久久| 激情五月,激情综合网| 超碰色色综合| 色www久视频| 九九香蕉网| 超碰1999| 狠狠干婷婷| 激情五月婷黄版| 开心五月婷婷| 五月丁香成年黄色| 丁香网五月网| 99re8这里只有精品99re8热视频| 97五月婷| 丁香婷婷精品视频| 婷婷五月色情| 香蕉AV777XXX色综合一区| 99久久综合网| 狠狠插狠狠插| 国产成人综合网| 色色综合激情| 丁香五月天天高清在线| 欧美成人精品A片免费一区99| 久久99久久久| 亚洲激情色色| 狠狠穞A片一區二區三區| 国产一区18| 婷婷丁香五月天中文字幕| 婷婷五月色| 无码yw| 99热在线精品观看| 人妻第九页| 狠狠干狠狠色| 日韩无码色色| 久久AV无码精品人妻系列试探| 久热亚洲| 五月花综合视频| 欧美成人精品三区综合A片| 色~性~乱~伦~噜| 五月天综合视频| 97在线观视频免费观看| 久久机热这里只有精品免费视频 | 蜜乳中文字| 色色色色欧美| 色噜噜综合网| 九九 激情 网| 五月天AV大香蕉| 天天天天天天天操| 久操热| 久久久精品视频79| 久久在线大香蕉| 丁香五月激情啪啪啪啪| 青草热视频这里只有精品| 99在线精品免费视频| 亚洲午夜AV| 91丨九色丨高潮丰满日本| 婷婷五月丁香超碰| 久 久9 9 热 视 频| 校园春色亚洲色| 丁香五月在线视频黑人| 婷婷色导航| 91超碰在线观看| 五月丁香精品| 色九月婷婷综合| 五月婷婷六月丁香五月| 99色免费| 久久久噜噜噜久久人妻| 色综合99色| 韩国三级五月天婷婷。| 依人大香蕉在钱1| 五月婷六月丁香| 99精彩视频网站在线| 亚洲综合丁香婷婷六月天| 开心五月色婷婷综合开心网| 永久思思热在线| 99ri精品| ,99视频久久| 伊人婷婷五月天| 淫荡家庭AV| 九九热超碰| 婷婷六月丁香激情综合| 激情综合亚洲| se色99| 丰满少妇乱A片无码| 久久久婷| 开心激情婷婷| 日本nghangse中文字幕| www色色com| 97se视频在线| 性爱111111| 日日干夜夜撸夜夜骑| 亚洲色久| PORNY九色9l自拍视频成人| 久久成人综合五月天| 色色com| 探花搜索结果 - 黄上黄| 丁香婷婷免费| 欧美久久婷婷| 日韩精品一区二区刘| 色国产五月| 欧美搡BBBBB摔BBBBB| 色五月婷婷中文字幕在线观看 | 亚州成人综合在线| 五月色丁香成人| 最新无码专区| 思思热精品在线观看| 无码成人AAAAA毛片AI换脸| 色欲日日躁| 亚洲深喉AV| 亚洲av成人在线| 嫩草AV久久伊人妇女超级a| 五月丁香拍拍激情综合| 性做久久久久久久免费看| 99久久综合网| 婷五月天影院| 凹凸操Av| 丁香天堂夜| 国产毛片精品一区二区色欲黄A片| 在线观看996精品| 日本在线va| 99热免费精品| 99re在线精品视频| 五月丁香久| 色婷婷激情| 精品人妻久久久| 丁香五月激情啪啪啪啪| 日本操逼九九九九58日本操逼| 五月综合色| 久月久在线视频| 26uuu成人网| 午夜福利成人AV91| 操逼视频一区| 青青热久久综合| 七七久久婷婷| 婷婷五月综合色拍| 六月婷婷无码| 丁香婷婷婷| 色人久久| 综合激情网| 9久久网| 色偷偷五月天| 五月天六月婷婷电影| 色色婷婷丁香五月天| 婷婷综合激情| 五月婷婷啪| 99这里有精品久久97| 五月婷婷视频| 婷婷射图| 婷婷丁香五月天小说| 久9视频免费播放| 五月天综合网| 五月六月婷| 亚洲中文无码成人| 热久久色| 五月激情综合网| 深爱激情婷| 综合激情开心五月| 久久码久久无清| 天天干狠狠| 思思精品热在线| 亚洲五月天色| 综合AV网| 成人网在线视频| 思思热久久久久思思热| 日韩狠狠色| 久久小说网| 色色色色网| 婷婷久久国产视频| 色99自拍| 免费视频WWW在线观看网站| 久久久久亚洲AV无码网影音先锋| 蜜臀A∨在线水帘洞| 激情熟女网| 五月综合无码| 夜夜操夜夜操| 亚洲激情网站无码| 久99在线视频| 在线看的免费网站| 国产精品国产| 五月丁香999| 色婷婷亚洲| 97碰碰人人视频| 婷婷精品视频| 五月婷在线| 五月天激情.com| 六月婷婷之青青草| www,超碰| 日韩少妇内射免费播放| 性爱综合网| 天天做天天爱天天爽| 手机看片日日做夜夜| 99久久婷婷国产综合精品草原| 色五月激情问网站| 人妻丰满精品一区二区A片| 国产成人高清| 色色色成人网| 狠狠干2007| 狠色综合网| 久久婷婷色情7777网站| 婷婷六月偷拍| 超碰精品在线| 操操国产|