欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

DeepGEMM:深度學(xué)習(xí)高性能矩陣乘法內(nèi)核優(yōu)化實(shí)踐

DeepGEMM:深度學(xué)習(xí)高性能矩陣乘法內(nèi)核優(yōu)化實(shí)踐 GEMM通用矩陣乘法是深度學(xué)習(xí)訓(xùn)練和推理里最底層的重型計(jì)算單元從全連接層到注意力分?jǐn)?shù)計(jì)算本質(zhì)都是在搬矩陣。很多人以為直接調(diào)官方閉源數(shù)學(xué)庫(kù)就萬(wàn)事大吉但真到了性能優(yōu)化、算子融合、低精度推理這些階段手邊能自己掌控的矩陣乘法內(nèi)核反而不夠用。DeepGEMM 就是我做的一個(gè)面向深度學(xué)習(xí)場(chǎng)景的高性能矩陣乘法內(nèi)核集合目的很直接在常見(jiàn)形狀上把算力吃透同時(shí)把 epilogue 融合、量化支持這些推理引擎真正需要的功能做進(jìn)去。這篇內(nèi)容適合正在做推理引擎、寫(xiě)自定義算子、或者想搞懂矩陣乘法性能瓶頸的朋友我盡量把從分塊策略到 Tensor Core 指令、再到精度對(duì)齊的整個(gè)思路講清楚。1. 為什么深度學(xué)習(xí)場(chǎng)景需要一份專(zhuān)屬GEMM而不是直接調(diào)官方庫(kù)1.1 GEMM 是深度學(xué)習(xí)的發(fā)動(dòng)機(jī)再快也不嫌快先說(shuō)一句很多人可能不太在意的背景知識(shí)。深度學(xué)習(xí)模型跑一次推理計(jì)算量絕大部分落在卷積和矩陣乘法上而卷積在底層實(shí)現(xiàn)時(shí)也往往會(huì)轉(zhuǎn)換成矩陣乘法來(lái)處理。所以 GEMM 的性能直接決定了一次前向推理的快慢。GEMM 的數(shù)學(xué)公式非常簡(jiǎn)單C alpha * A * B beta * C。A 是 M×K 矩陣B 是 K×N 矩陣C 是 M×N 輸出矩陣。看起來(lái)就是三重循環(huán)的事但問(wèn)題在于數(shù)據(jù)量遠(yuǎn)超芯片的片上存儲(chǔ)。一顆現(xiàn)代 GPU 有幾百 GB/s 甚至幾 TB/s 的顯存帶寬但一個(gè) 4096×4096 的 FP16 矩陣就有 32MB整個(gè)模型矩陣動(dòng)輒幾十個(gè)這樣的塊不可能全部塞進(jìn)片上緩存。所以 GEMM 優(yōu)化的核心從來(lái)不是怎么算而是怎么搬數(shù)據(jù)搬得少、算得密。我選擇自己寫(xiě) DeepGEMM不是因?yàn)楣俜介]源庫(kù)不行而是因?yàn)樗鉀Q不了我的三個(gè)問(wèn)題。第一融合算子。推理引擎里 GEMM 后面基本都跟著 bias、激活函數(shù)、LayerNorm、量化縮放這些操作官方庫(kù)只負(fù)責(zé)輸出 C 矩陣剩下的操作要我重新起一個(gè) kernel 讀寫(xiě)一遍數(shù)據(jù)顯存帶寬全浪費(fèi)了。第二形狀控制。官方庫(kù)對(duì)超大連續(xù)矩陣調(diào)校得很好但碰到 M1 的推理場(chǎng)景、或者 N 比較小的窄矩陣性能優(yōu)勢(shì)就沒(méi)那么明顯了。第三可控性。我想針對(duì)自己的模型形狀做定制想在看到性能瓶頸時(shí)能精確知道是哪一行代碼在等待閉源庫(kù)做不到。1.2 DeepGEMM 的定位不是重新造輪子是造一套能改的輪子DeepGEMM 的定位是一套面向深度學(xué)習(xí)推理場(chǎng)景的 GEMM 內(nèi)核模板集不是要替代官方庫(kù)在所有場(chǎng)合的工作而是重點(diǎn)覆蓋推理引擎里最常用到的幾種情況常見(jiàn)批量大小下的大矩陣乘、低精度輸入FP16/BF16甚至量化后的 INT8/FP8、以及需要把額外算子焊進(jìn) epilogue 的融合需求。做這套東西之前我先明確了一個(gè)原則先讓內(nèi)核在一個(gè)小形狀上跑出明顯的性能再考慮泛化而不是一開(kāi)始就試圖處理所有邊界情況。我最初只實(shí)現(xiàn)了 M4096、N4096、K4096 的基礎(chǔ)版本跑通之后再逐步往外擴(kuò)。這樣做的原因是 GEMM 優(yōu)化的變量實(shí)在太多tile 尺寸、寄存器布局、流水線(xiàn)深度、訪存模式任何一個(gè)改動(dòng)都可能改變性能特征如果不固定形狀去調(diào)參很難知道到底是哪個(gè)改動(dòng)起了作用。2. 分塊調(diào)度把大矩陣切成能塞進(jìn)芯片的小方塊2.1 從數(shù)學(xué)公式到三層存儲(chǔ)層級(jí)矩陣乘法最直觀的實(shí)現(xiàn)就是三重循環(huán)累加但這樣每個(gè) A 元素會(huì)被讀 N 次每個(gè) B 元素會(huì)被讀 M 次數(shù)據(jù)搬運(yùn)量驚人。分塊的目標(biāo)是提高數(shù)據(jù)復(fù)用A 矩陣的某一行會(huì)被 C 矩陣同一行的所有列使用B 矩陣的某一列會(huì)被 C 矩陣同一列的所有行使用所以把計(jì)算切成 M_BLOCK × N_BLOCK 的小方塊后這個(gè)小方塊計(jì)算只需要加載對(duì)應(yīng)的 M_BLOCK×K 的 A 分塊和 K×N_BLOCK 的 B 分塊數(shù)據(jù)復(fù)用率從 1 提升到了塊尺寸級(jí)別。在 GPU 上分塊要分層進(jìn)行。第一層是把整個(gè) C 矩陣分成若干 M_BLOCK × N_BLOCK 的塊每個(gè) block線(xiàn)程塊負(fù)責(zé)一個(gè)輸出分塊第二層是 block 內(nèi)部把 K 維再切段每次從顯存加載小塊 A、B 到共享內(nèi)存第三層是每個(gè)線(xiàn)程從共享內(nèi)存取數(shù)據(jù)用寄存器算對(duì)應(yīng)的輸出小片累加結(jié)果最終寫(xiě)回顯存。這個(gè)三層結(jié)構(gòu)恰好對(duì)應(yīng) GPU 的三種存儲(chǔ)層級(jí)顯存、共享內(nèi)存、寄存器。2.2 一個(gè)實(shí)例算清楚分塊參數(shù)怎么定舉一個(gè)具體例子。假設(shè)目標(biāo) GPU 有 132 個(gè) SM目標(biāo)形狀是 MNK4096。我最初選的 block 尺寸是 128×128那 grid 就是 32×32 1024 個(gè) block平均每個(gè) SM 要處理約 7.8 個(gè) block負(fù)載基本均衡。K 維切片長(zhǎng)度 BLOCK_K 的選擇更講究。BLOCK_K 越大單次加載的數(shù)據(jù)越多訪問(wèn)顯存效率更高但共享內(nèi)存占用也隨之增加。128×128 的 C 分塊用 FP32 累加寄存器需要 128×128/32 線(xiàn)程 每線(xiàn)程 64 個(gè) FP32 寄存器加上操作數(shù)寄存器寄存器壓力已經(jīng)不小。所以 BLOCK_K 我選了 32這樣 A 分塊是 128×32×2 字節(jié) 8KBB 分塊是 32×128×2 字節(jié) 8KB加上 C 分塊共享內(nèi)存占用大概 20KB 左右在 128KB 的共享內(nèi)存里可以輕松放下雙層緩沖。提示BLOCK_K 一旦超過(guò) 64共享內(nèi)存占用會(huì)急劇上升留給雙層緩沖的空間就緊張了。實(shí)際測(cè)試下來(lái)在多數(shù)數(shù)據(jù)中心級(jí) GPU 上BLOCK_K 在 32 到 64 之間是最穩(wěn)的選擇區(qū)間。選好這些參數(shù)之后主循環(huán)的控制流就非常機(jī)械了外層遍歷 K 維切片內(nèi)層把切到的 A、B 分塊從顯存搬到共享內(nèi)存然后所有線(xiàn)程執(zhí)行矩陣乘的小片計(jì)算。問(wèn)題是這種搬一塊、算一塊的做法搬數(shù)據(jù)的時(shí)候計(jì)算單元是空閑的計(jì)算的時(shí)候搬運(yùn)單元是空閑的性能只有理論峰值的一半左右。解法就是第 3 節(jié)要說(shuō)的雙層緩沖。3. 真正提速的核心細(xì)節(jié)張量核指令、寄存器排布、流水線(xiàn)預(yù)取3.1 mma 指令與 FP32 累加為什么低精度輸入要用高精度加法現(xiàn)代數(shù)據(jù)中心級(jí) GPU 架構(gòu)都有一個(gè)專(zhuān)門(mén)做矩陣乘法的硬件單元通常稱(chēng)為張量核心它通過(guò)底層的 mma 指令一次性完成一個(gè)小矩陣的乘累加。比如一條 mma 指令可以完成 16×8×16 這樣的操作也就是 A 是 16×16、B 是 16×8算出 16×8 的輸出小矩陣。向量單元要一個(gè)時(shí)鐘周期做幾次乘加張量核心一個(gè)周期能完成一個(gè)片段的乘累加吞吐量完全不在一個(gè)量級(jí)。DeepGEMM 里我采用的指令模式是加載 FP16/BF16 輸入累加器用 FP32。這不是我拍腦袋定的——直接用 FP16 累加會(huì)在多次累加后出現(xiàn)明顯的舍入誤差尤其在 K 很大時(shí)誤差會(huì)累積。FP32 累加寄存器雖然占的地方多一倍但換來(lái)的是結(jié)果精度明顯提高實(shí)測(cè)中與官方庫(kù)的 FP32 累加結(jié)果完全相同。PTX 層的指令看起來(lái)大概是這樣mma.sync.aligned.m16n8k16.row.col.f32.f16.f16.f32 {%0, %1, %2, %3}, // 輸出累加器 16x8 的四個(gè)片段 {%4, %5}, // A 矩陣片段 16x16 {%6, %7}, // B 矩陣片段 16x8 {%0, %1, %2, %3}; // 輸入累加器這條指令的難點(diǎn)在于操作數(shù)布局是固定的A、B、C 的每個(gè)片段分別放在哪些寄存器、哪些位都有嚴(yán)格規(guī)定。如果寄存器排布不符合指令預(yù)期編譯器會(huì)補(bǔ)一堆 mov 指令來(lái)回倒騰數(shù)據(jù)性能直接打折。所以我寫(xiě) DeepGEMM 時(shí)是先按指令要求的寄存器布局來(lái)分配數(shù)據(jù)而不是先分配好再期望編譯器去適配。3.2 共享內(nèi)存 bank 沖突看不見(jiàn)的串行化陷阱共享內(nèi)存按 bank 分塊硬件在同一周期可以同時(shí)服務(wù)多個(gè)不同 bank 的訪問(wèn)。但如果多個(gè)線(xiàn)程訪問(wèn)的是同一個(gè) bank 的不同地址吞吐就會(huì)變成原來(lái)的幾分之一這就是所謂 bank conflict。在 GEMM 內(nèi)核里,加載 B 矩陣分塊時(shí)最常踩這個(gè)坑。經(jīng)典案例以 FP16 類(lèi)型為例BLOCK_N 為 128B 分塊是 BLOCK_K × 128。如果每個(gè)線(xiàn)程連續(xù)取一行中的相鄰元素兩個(gè)線(xiàn)程的地址恰好落在同一個(gè) bank 上整個(gè) load 就會(huì)被串行化。解決方法是給 B 矩陣的訪問(wèn)模式加一個(gè)偏置移位讓相鄰線(xiàn)程訪問(wèn)的地址錯(cuò)開(kāi)到不同 bank。DeepGEMM 里我用了一個(gè)簡(jiǎn)單的 swizzle 策略矩陣存儲(chǔ)時(shí)同一行的數(shù)據(jù)不再連續(xù)排列而是按 XOR 變換重新組織。這樣線(xiàn)程在列方向并行讀取時(shí)地址映射后的 bank 號(hào)自然錯(cuò)開(kāi)實(shí)測(cè)共享內(nèi)存帶寬利用率從約 60% 提升到接近 90%。以 C 語(yǔ)言偽碼來(lái)說(shuō)明一個(gè) 8 元素 swizzle 的思路// 每個(gè)線(xiàn)程要讀取的元素所在行 row、列 col // 傳統(tǒng)布局address row * row_pitch col // swizzle 布局address row * row_pitch \ // ((col 7) ^ ((row 1) * 7))關(guān)鍵是讓相鄰線(xiàn)程的列地址和行本身的偏移撞不到同一個(gè) bank。3.3 雙層緩沖讓搬運(yùn)和計(jì)算真正重疊軟件流水線(xiàn)的目標(biāo)是讓顯存到共享內(nèi)存的拷貝和矩陣乘計(jì)算重疊執(zhí)行。最樸素的做法是共享內(nèi)存里放兩份 A、B 分塊一份給當(dāng)前循環(huán)迭代使用另一份給下一次迭代預(yù)取。主循環(huán)寫(xiě)成這樣而循環(huán)里的操作步驟是用 cp.async 指令異步發(fā)起下一次迭代的 A、B 數(shù)據(jù)拷貝用當(dāng)前共享內(nèi)存緩沖區(qū)里的數(shù)據(jù)執(zhí)行 mma 指令完成矩陣乘提交計(jì)算完成等待之前的異步拷貝完成交換兩個(gè)緩沖區(qū)的角色進(jìn)入下一輪cp.async 是 GPU 上的一種異步拷貝指令數(shù)據(jù)從顯存搬進(jìn)共享內(nèi)存不占用線(xiàn)程計(jì)算時(shí)間硬件會(huì)自動(dòng)完成。第一次實(shí)現(xiàn)時(shí)我直接把 cp.async 換成普通 load性能下降接近兩成原因就是每次主循環(huán)結(jié)束都得等數(shù)據(jù)搬運(yùn)完才能繼續(xù)算。這個(gè)經(jīng)驗(yàn)在 DeepGEMM 的開(kāi)發(fā)中反復(fù)被驗(yàn)證只要共享內(nèi)存裝得下雙緩沖幾乎是零成本提升。4. 精度對(duì)齊與排錯(cuò)鏈路從錯(cuò)誤結(jié)果到逐項(xiàng)排查4.1 第一次跑通不代表結(jié)果是錯(cuò)的我第一版 DeepGEMM 跑出了結(jié)果乍一看和官方庫(kù)的輸出差不多但差分對(duì)不過(guò)最大絕對(duì)誤差在 1e-1 量級(jí)對(duì)推理模型來(lái)說(shuō)這直接是錯(cuò)誤輸出。當(dāng)時(shí)我最懷疑的是張量核指令用錯(cuò)了后來(lái)發(fā)現(xiàn)其實(shí)是邊界處理的問(wèn)題。排查的第一原則是固定變量。我把輸入矩陣改成隨機(jī)數(shù)固定種子先用官方庫(kù)算出基準(zhǔn) C_ref再用 DeepGEMM 算出 C_test逐項(xiàng)對(duì)照。拿 M、N、K 都比較小的用例開(kāi)始比如 64×64×64這樣任何一行代碼的行為都能手動(dòng)推算。4.2 排查流程從索引、同步到邊界我當(dāng)時(shí)整理的排查順序現(xiàn)在也推薦給你檢查項(xiàng)方法我遇到的問(wèn)題索引公式在小矩陣上逐元素核對(duì) A、B 分塊加載確認(rèn) mma 指令的 A 矩陣行主序轉(zhuǎn)列主序時(shí)搞混了一次同步位置檢查 __syncthreads() 是否覆蓋跨線(xiàn)程共享數(shù)據(jù)讀寫(xiě)有一次預(yù)取數(shù)據(jù)已經(jīng)發(fā)起當(dāng)前計(jì)算還沒(méi)用完舊緩沖區(qū)就做了緩沖區(qū)交換邊界處理M、N 不能被 block 整除時(shí)越界位置是否置 0128 的 block 處理 4096 沒(méi)問(wèn)題換到 1000 就出錯(cuò)了累加精度與 FP32 基準(zhǔn)對(duì)比誤差是否在可接受區(qū)間FP16 累加誤差在 K4096 時(shí)放大到不可接受4.3 兩個(gè)最容易踩的坑越界加載與緩沖區(qū)交換先說(shuō)越界加載。BLOCK 尺寸通常是 32 或 64 的倍數(shù)但矩陣 M、N 不一定是整數(shù)倍。當(dāng)尾部塊加載 A 分塊時(shí)最后幾行已經(jīng)超出矩陣邊界讀到的顯存內(nèi)容是什么不確定算出的結(jié)果自然不對(duì)。解法是加載時(shí)做邊界判斷越界位置置零。這個(gè)判斷放在主循環(huán)里太貴我把它放在每次加載的 if 分支里if (row M col K) { A_tile[local_row * BLOCK_K local_col] A[global_row * K global_col]; } else { A_tile[local_row * BLOCK_K local_col] 0.f; // 越界置零不影響累加結(jié)果 }置零的好處是無(wú)論該位置被計(jì)算多少次對(duì)最終累加結(jié)果都沒(méi)有貢獻(xiàn)尾塊照樣可以走和完整塊相同的 mma 指令。再說(shuō)緩沖區(qū)交換。雙緩沖實(shí)現(xiàn)里有一個(gè)非常隱蔽的 bug我在異步拷貝還沒(méi)完成時(shí)就把緩沖區(qū)的指針換掉了導(dǎo)致下次計(jì)算用的還是舊數(shù)據(jù)。排查這個(gè)問(wèn)題的代碼路徑是用__pipeline_commit和__pipeline_wait_prior這對(duì)異步接口時(shí)忘記在讀取共享內(nèi)存前等待對(duì)應(yīng)批次全部完成。注意多級(jí)流水線(xiàn)里等待條件不是上一批拷貝完成而是我這次計(jì)算需要的那一批完成。流水線(xiàn)越深這個(gè)關(guān)系越容易搞錯(cuò)。我后來(lái)用了一個(gè)比較實(shí)用的檢驗(yàn)方法把 K 維的切片數(shù)改成奇數(shù)跑一遍如果結(jié)果和偶數(shù)切片不一致基本就是流水線(xiàn)同步有 bug。因?yàn)榍衅瑪?shù)量奇偶變化會(huì)改變緩沖區(qū)和循環(huán)迭代的對(duì)應(yīng)關(guān)系任何等待順序錯(cuò)誤都會(huì)導(dǎo)致結(jié)果異常。5. 性能實(shí)測(cè)用 profiler 數(shù)據(jù)驅(qū)動(dòng)不拍腦袋調(diào)參5.1 基線(xiàn)對(duì)比要分形狀不能只看一個(gè)數(shù)GEMM 性能受形狀影響極大。我拿 DeepGEMM 和官方閉源庫(kù)做了對(duì)比測(cè)試固定數(shù)據(jù)格式為 FP16 輸入 FP32 累加分別測(cè)了三種典型形狀結(jié)果很能說(shuō)明問(wèn)題形狀M × N × KDeepGEMM 達(dá)到的峰值算力占比與官方庫(kù)相對(duì)性能4096 × 4096 × 4096約 78%約 95%1024 × 1024 × 4096約 70%約 88%1 × 4096 × 4096約 15%約 20%前兩個(gè)結(jié)果說(shuō)明 DeepGEMM 在常規(guī)大矩陣上已經(jīng)有競(jìng)爭(zhēng)力最后一個(gè) M1 的形狀則暴露了問(wèn)題block 里大量線(xiàn)程計(jì)算同一行數(shù)據(jù)復(fù)用不夠內(nèi)存加載變成了瓶頸。這個(gè)結(jié)果提醒我DeepGEMM 目前的架構(gòu)并不適合下沉到 M 很小的推理場(chǎng)景還需要針對(duì)這種情況做獨(dú)立優(yōu)化。5.2 用 profiler 找到瓶頸而不是靠猜性能出問(wèn)題的時(shí)候我先用 GPU 的性能分析工具采集三個(gè)指標(biāo)SM 忙碌率、共享內(nèi)存帶寬利用率、請(qǐng)求停滯分布。第一次跑 4096 形狀SM 忙碌率只有 55%共享內(nèi)存帶寬利用率也不是特別高說(shuō)明問(wèn)題不在計(jì)算而在流水線(xiàn)等待。逐個(gè)排查后發(fā)現(xiàn)主循環(huán)里每輪計(jì)算結(jié)束后有一個(gè)等待異步拷貝的操作按我的預(yù)期這里應(yīng)該已提前預(yù)取完畢。但分析工具顯示 stall 主要發(fā)生在共享內(nèi)存訪問(wèn)階段原因是加載 B 矩陣分塊時(shí)的 swizzle 只做了部分偏移仍有少量 bank 沖突。我把 swizzle 粒度從 4 元素調(diào)整到 8 元素之后共享內(nèi)存帶寬利用率從 72% 上升到了 88%整體算力占比也提升了大約 8 個(gè)百分點(diǎn)。5.3 編譯器參數(shù)同樣影響性能寫(xiě) GEMM 內(nèi)核時(shí)編譯參數(shù)的影響經(jīng)常被低估。我用到的兩個(gè)關(guān)鍵選項(xiàng)一個(gè)是指定 GPU 架構(gòu)讓編譯器針對(duì)具體指令集優(yōu)化另一個(gè)是開(kāi)啟更大的寄存器限制允許寄存器溢出到局部的優(yōu)化。最開(kāi)始我用默認(rèn)編譯參數(shù)寄存器分配比較保守性能差了約一成。把寄存器上限調(diào)高到 255 之后編譯器能把更多的中間結(jié)果留在寄存器里而不是反復(fù)寫(xiě)回共享內(nèi)存。需要注意的是這里有個(gè)平衡點(diǎn)寄存器占用太高會(huì)導(dǎo)致 SM 上同時(shí)運(yùn)行的線(xiàn)程塊變少并行度下降。我在目標(biāo) GPU 上實(shí)際測(cè)試128 線(xiàn)程一 block、每個(gè)線(xiàn)程 168 個(gè)寄存器左右是可以同時(shí)跑兩個(gè) block 的上限區(qū)間。6. 往融合算子走一步GEMM 的 epilogue 定制6.1 推理場(chǎng)景真正需要的是 GEMM 偏置 激活如果 DeepGEMM 只能輸出一個(gè) C 矩陣那它對(duì)推理引擎的價(jià)值就打折了。實(shí)際上全連接層之后的模式非常固定先加 bias再過(guò) ReLU/GELU最后才是輸出。把這三個(gè)步驟從獨(dú)立算子合并進(jìn) GEMM kernel 的末尾段epilogue可以減少一次完整的顯存讀寫(xiě)。我在實(shí)現(xiàn)上把 epilogue 做成一個(gè)模板化的函數(shù)傳入輸出塊的共享內(nèi)存指針和模型配置由每個(gè)線(xiàn)程在算完自己的輸出片段后執(zhí)行。模板參數(shù)里包含是否需要 bias、使用哪個(gè)激活函數(shù)、是否要做量化這些全都在編譯期確定運(yùn)行時(shí)零分支開(kāi)銷(xiāo)。6.2 量化場(chǎng)景把 scale 和 zero point 焊進(jìn)融合流程低精度推理里GEMM 輸出是 FP32但下一層要求 INT8 輸入中間必然有一次量化操作y round(x * scale zero_point)。常規(guī)做法是把 C 矩陣寫(xiě)回顯存再啟動(dòng)一個(gè)量化 kernel 讀出來(lái)重新算一遍帶寬和時(shí)間成本都很高。在 DeepGEMM 的 epilogue 中我在每個(gè)線(xiàn)程輸出 FP32 片段之后直接做這個(gè)量化再把結(jié)果寫(xiě)回顯存。如果量化是 per-token 的即每行一個(gè) scale也只需要把 scale 向量提前加載到共享內(nèi)存每個(gè)線(xiàn)程按自己的行索引取數(shù)即可。融合后一次 kernel 跑完 GEMM 和量化實(shí)測(cè)整體的顯存讀寫(xiě)量下降約一半端到端時(shí)間縮短了約 30%。6.3 融合的邊界與后續(xù)擴(kuò)展方向融合也不是越多越好。層歸一化雖然也在 GEMM 之后常用但它需要跨通道計(jì)算均值方差意味著要拿到一行的完整輸出而 GEMM 的輸出片段是按 block 分散在不同線(xiàn)程里的強(qiáng)行融合會(huì)導(dǎo)致復(fù)雜的跨線(xiàn)程規(guī)約。我在 DeepGEMM 里沒(méi)有把 LayerNorm 合進(jìn)去而是讓它保持獨(dú)立 kernel這也是很多推理引擎的普遍做法。這套內(nèi)核后續(xù)可以擴(kuò)展的方向我目前最關(guān)心的是更小的 block 尺寸以適配推理批次較小的場(chǎng)景以及把 FP8 輸入的計(jì)算路徑補(bǔ)全因?yàn)樵谧钚乱淮布?FP8 的性能收益非常明顯。另一個(gè)思路是為結(jié)構(gòu)化稀疏做配套優(yōu)化稀疏矩陣在帶寬上的節(jié)省潛力比純稠密更大。我實(shí)際寫(xiě) DeepGEMM 的體會(huì)是矩陣乘法的性能優(yōu)化沒(méi)有什么玄學(xué)所有瓶頸最后都能落到訪存模式、寄存器分配、流水線(xiàn)等待這幾個(gè)具體問(wèn)題上。關(guān)鍵是不要一開(kāi)始就追求大而全而是從一個(gè)小形狀出發(fā)把 profiler 給出的數(shù)據(jù)一項(xiàng)項(xiàng)磨平。你先跑通一個(gè) block 都行把同步、邊界、精度都驗(yàn)證對(duì)了再往上加復(fù)雜度和融合特性這個(gè)過(guò)程會(huì)穩(wěn)很多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99热免费| 五月色在线| 色婷婷五月天成人网| 99九九中文字幕视频| 婷婷五月天天爽| 五月婷婷啪啪啪| 精品久热| 超碰在线成人| 五月色婷婷夜色| 色色九九五月天 | 五月丁香基地| 色碰碰视频| 欧洲色| 开心婷婷五| 男女啪啪做爰高潮无遮挡 | www.五月天。com| 4438全国最大视频成人网站在线观看| 婷婷伊人网| 欧洲精品欧洲情| 九九9久九9国产视频| 99亚洲大片精品永久在线观看| 狠狠爱丁香婷| 91啪啪| 五月天另类综合网| 黄色一极大片| 2018国产大陆天天弄| 蜜乳中文字| 欧美啪啪9| 99爱视频| 色色a| 就是色婷婷五月亚洲色| 97久久超视频| 久久久中文| 激情综合五月色丁香婷婷| 五月丁香自拍| 婷婷五月天免费99| 婷婷色中文字幕| 欧美韩日AAA网站| 久久性爱视频| 五月婷六月天| www.久久| 一区二区传媒视频| 99这里只有精品| 色五月婷婷久久| 婷婷五月丁香综合| 99啪啪骑| www久| 五月色天情| 六月99天天婷婷激情综合| 中国丰满熟女A片免费观| 丁香激情综合| 亚洲日韩人妻操逼| 欧美熟女99| www,奇米影视| 色婷婷五月在线| 成人视频九九| 操操操Av| 婷婷碰碰| 激情合网婷婷| 加勒比日本一区二区三区| 五月天色婷婷综合| WWW.桔色成人.COM| 五月天激情无码高清| 五月丁香亭亭操逼| 啪啪色激情五月天| 五月开心播播网| 成人婷婷| 婷婷五月丁香六月综合网| 激情五月天在线观看色婷婷| 久久久五月婷婷| 在线18av | 日本色天堂| 亚洲va欧美| 5月色亭亭视频| 婷婷伊人综合中文字幕| 婷婷亚洲久久| 婷婷夜夜操| 少妇熟女视频一区二区三区| 欧美日韩成人一区二区| 久草丁香婷婷1024| 一本道在线电影| 婷婷五月天综合久久| 婷婷伊人五月| 草AV9999| 日日操夜夜爽天天天| 久久综合爱| 久久综合综合综合| 三级黄网站| 日本天天色| 婷婷丁香九色| 99国产性感视频| 天天综合精品| 噜噜狠狠色综无码久久合欧美| 婷婷六月天| 97色片| 天天插天天射| 色婷婷瘦婷婷日韩| 99热这里都是精品| www.久久爱.c n| 人人摸人人干人人做| 99国产精品久久久久久久久久久| 99极品视频| 996热| 九九超日本| 五月 婷婷 成人| 91精品激情9| 丁香五月综合| 成人片在线播放| 色色色热| 激情综合网五月婷婷| 操操操av| 天天看A片| 久久久欧美精品sm网站| 欧在线一区| 国产婷伊人| 噼里啪啦在线观看免费完整版视频| 亚洲欧美综合7777色婷婷| 色婷婷丁香五月天在线观看| 久久五月天色| 激情五月色播五月| 欧美这里只有精品| 激情五月综合网最新 | 丁香五月社区| 大陆极品少妇内射AAAAAA| 五月丁香啪啪综合| 日韩一级片| 日韩aaa| 91在线日| 99热97| 久久婷婷五月天懂色| 色五月婷婷91| 99色婷婷视频| oumeisesewang| 五月婷六月| 大香蕉免费9| 色色国产| 无码色色色色色| 婷婷激情六月| 丁香五月激情六月综合| 激情色情五月天| 色婷婷五月天偷拍| 精品婷婷| 国产美女无遮挡裸体毛片A片| 激情深爱综合| 777色婷婷爱五月| 欧美日本免费一道免费视频| 色天堂婷婷| 人妻无码视频网| ..真实国产乱子伦毛片| wwww.9免费视频| 亚洲123区高清入口| 五月丁香激情综合网官网| 天天视频精品9| 亚洲成人无码片| 久久久九九九 99| 亚洲中文AV网站| 亚洲第二AV| 婷婷六月综合基地| 9久热| 五月激情丁香五月| 婷婷六月激情丁香| 草五月| 丁香五月激情综合| 99综合网| 婷婷丁香成人色综合| 亚洲AV成人在线观看| 天啪天啪天啪天啪| 五月天伊人综合| 99碰碰| 色久在| 国产精品久久久久久五月天加勒比| 天天开心婷婷丁香五月| 国外亚洲成AV人片在线观看 | 日本天堂免费99| 色婷婷在线综合色播网| 深爱五月天 开心网| 可以观看的AV| 午夜天堂啪啪| 99精品热| 激情五月六月婷婷| 久热 91| 看国产探花操逼三级片| 1024操逼视频| 久久久天堂国产精品女人| 97超碰,人人舔,人人操,人人摸| 色婷婷中文| 97人人操人人操人人操人人| 91欧美日韩综合| bbwcuckold精品熟妇| 极品 少妇 内射| 夜丁香综合| a久久| 色婷婷视频在线| 粉嫩AV久久一区二区三区| 天天肏在线视频| 五月丁香激情啪啪网| 大香蕉精品视频| 最新午夜理论片| 无月播播激情在线观看视频| 中文字幕在线不卡| 丁香婷婷激情网站| 99自拍视频网站| 天天日狠狠| 天天色综合图片| 亚洲综合五月天婷婷丁香| 婷婷五月综合在线| 日韩免费99| 婷婷丁五月| 色色日韩无码| 大香蕉五月天婷婷| 在线播放 精品| 99色干| 99热这里只有精品96| 久久精热| 国产一区二区三区影院| 久久99精品久久久久子伦| 天天日天天干天天爱| 婷婷五月天欧美图片在线播放电驴| 任你爽精品免费视频6| 国产精品久久欧美久久一区| 丁香五月最新地址| 涩涩网五月天| 日本九九九九| 丁香五月狠狠在线观看| 丁香五月大香蕉| tingtingjiqingwuyue| 99热人人艹| 五月婷婷丁香五月| 99re免费精品视频| 日本欧美国产| 丁香六月婷婷久久综合| 五月亚洲| 婷婷五月天首页| 五月色丁香| 久热99久热| 人妻内射一区二区在线视频| 色婷婷久久| 激情五月综合网最新| 久久精品视频在这里有| 色婷婷久久综合丁香五月| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | www色色com| 人人操 色| 九九无毛| 国产高清视频91九九九久久久| 女人天堂AV| 色婷婷欧美| 狠狠操狠狠操AV| 五月天激情婷婷丁香| 婷婷丁香六月影视| 91精品电影18T| 97精品在线| 久久99精品久久久久久青青AR| 婷婷激情五月呦呦| 日韩ww| 能看的AV| 51精品国自产在线| 丁香五月五月婷婷欧美大香蕉 | 亚洲婷婷免费| 狠狠色五月| 图片区 小说区 区 亚洲五月| 一二区成人电影| 五六月丁香激情视频| 五月天婷婷色色| 69精品人妻不卡视频| 丁香六月高清视频| 色综合久| 五月天激情综合首页| 五月婷婷|欧美| 嫩草AV久久伊人妇女超级A| 欧美丁香五月97色| 五月婷婷色播| 色9月| 99啪在线视频| 婷婷五月天大香蕉在线视频观看| 天天爱天天做天天舔| 日韩成人av在线| 激情久久丁香| 99热精品无码| 激情综合文学| 五月激情网络| 成人 在线观看国产| 天天综合色丁香| 五夜婷婷| 五月婷av| 午夜九九九九九九| 手机在线日韩视频中文字幕| 91热在线| 色婷婷4| 色丁香久久| 九色视频91| AV中文在线| 性爱动图国产麻豆一区二区三区| 国语对白性爱视频播放| 色色色色av777| 色五月六月婷婷| 99性爱视频网站| 五月天开心激情综合网| 欧美成人色婷婷| 97操碰在线视频| 日本啪啪天堂| 国自产拍偷拍精品啪啪一区二区 | 婷婷娌伦网| 97啪啪| 99色综合| www.色欲丁香婷婷| 大香蕉99热| 日本久久精品| tingtingzonghewang| 三级大香蕉网| 伊人www22综合色| 色九区| 97干视频在线| 最新久久网址| 伊人影音无码一区二区三区| 久久婷婷五月| 色五月五月天| 色婷婷五月综合色婷婷| 色情五月婷婷| 天天成人综合| 丁香婷婷情色五月天| 久操大香蕉| 久久性爱视频| 99日本视频| 婷婷亚洲天堂| 26uuu国产激情视频| 五月丁香激情综合| 国产成人精品一区二三区熟女在线| 五月婷婷综合在线亚洲视频| 黑人熟妇一区二区三区| 99热精品在线播放观看| 色偷偷综合| 99热精品在线播放| 午夜在线成人网站免费观看| 婷婷五月综合在线| 91玖玖| 日本啪啪网| 五月丁香婷婷六月| 26uuu.| 99精品国产在热久久| 91欧美| 精品无码人妻一区| 91九色视频在线观看| 狼人久草| 第四色大香蕉| 69午夜成人影片| 婷婷五月情| 超碰成人免费| 五月天狠狠色| 色婷婷五月天天天干天天操天天爽| 五月丁香成人| 久久无意婷婷| 久久小视频免费| 五月丁香六月婷婷网| 99在线视频播放| 三十熟女| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 五月婷婷成人| 无码免费人妻A片AAA毛片西瓜| 日韩视频女神99| 天天天操天天天爰| 天天色丁香| 五婷婷综合网| 五月伊人网| 99在这里有精品| 99ri国产| 久99热| 丁香六月婷婷色XXXX| 五月天精品视频| 婷婷射图| 黄色视频网站在线播放| 五月丁香亭亭| 久久与婷婷| 无码人妻一区二区一牛影视| 亚洲激情婷婷| 五月婷婷福利| 色五月激情网| 婷婷五月丁香性爱| 夜夜爽天天爽| 5月丁香啪啪啪| 五月天婷婷色综合| 丁香五月色色色色| 色五月天堂| 亚洲精品99| 日韩一本操| www,8050,午夜三级| 色色色色网色色网色色| 少妇人妻人伦A片| 色碰碰| 天天天综合网| 玖玖99婷婷| 久久色五月| 五月婷婷久久久| 亚洲成AV人片在线观看| 九九热这里只有精品12| 色五月激情网| 婷婷色色网| 在线视频99| 伊人大香蕉毛片| 天色综合网站| 丁香五月影院| 热99re| 2017狠狠干| 超碰av在| 99性爱视频| 婷婷久久丁香| 人妻系列久久久久久久久久久| 欧美婷婷九月| 色色三级视频| 国产99热| 成年人丁香五月| 亚洲色婷婷网站| www.婷婷.com| 国产伦亲子伦亲子视频观看| 思思re99视频在线观看| 婷婷六月天激情| 婷婷六月丁香久| 天天综合 99久久婷婷| 日本黄 色 片| 久久曰曰| 91seav| 亚洲色色香蕉| 五月色欧洲| 77777亚洲午夜久久| 狠狠色五月| 欧美性猛交XXXX乱大交极品| 日本丁香五月婷婷| 天天日天天肏天天奸| 五月丁香大相交| 亚洲色模骚货| 亚洲精| 性爱先锋AV| 97碰人人操| 国产一区二区三区影院| 99热这里只有精品在线观看| 99九九综合久久九九| 婷婷五月天激情丁香| 91免费在线视频6| 人妻AV在线观看| 99热官网精品在线| 亚洲av电影网站| 五月激情网站| 米奇激情婷婷| 97热在线精品| 9热在线观看| 东京热免费视频网站| 天天日天天操心| 国产精品人妻在线网址| 久操大| 99热婷婷| 野战J办公桌椅H| 色五月婷婷激情五月| 色香蕉精品五夜婷| 天天干天天色综合| 六月丁香大香蕉| 日本色超碰| 日韩久久成人| 99精品免费| 丁香婷婷深情五月亚洲| 久草五月| 人妻熟妇国产精品| 91爱啪啪| 久久色情| 99热99色| 99在线视频资源| 婷婷五月丁香六月综合网| 蜜臀嫩草| 丁香婷婷六月在线资源观看| 五月情涩综合婷婷| 伍月婷丁香花全集| 中文字幕日韩无码制服诱或| 就爱干 在线| 思思热久在线观看视频| 日本色婷婷综合| 中文字幕不卡+婷婷五月| 欧美色色色色色色| 91九色欧美| 激情五月天第四色| 国产1区2区| www色综合亚洲92| 老师高潮流白浆喷水的A片| 三人荫蒂添的好舒服A片| 99热这里有精品| 色婷婷成人做爰A片免费看网站 | 无码髙清| 五月丁香六月激情综合| 色五月琪琪| 天堂A∨在线| 激情五月天视频| 97av在线视频| 色噜噜狠狠色综无码久久合欧美| 婷婷丁香成人| 嫩草AV久久伊人妇女超级A| 色婷婷丁香五月天| 色135综合网| 色婷婷综合久久| 91九九九色在| 婷婷人妻激情| 五月天婷婷社区久久综合| 久久人人九| 97碰久久| 丁香五月天天| 怡红院院久久| 激情综合色播| 久久丝袜婷婷| 亚洲六月色| 色婷婷电影网| 性爱激情五月| 我去色色网五雨天| 欧美色图天堂网| 丁香婷婷五月天网站| 另类综合激情| www.激情五月天| 天天爽,夜夜爽| 99狠狠色| 亚洲色久| 丁香婷婷六月| 久艹大香蕉| 天天做天天爱天天搞| 开心深爱五月天| 色婷婷欧美在线| 婷婷丁香人妻久久在线观看| 天天色天天日| 91九九| 色婷婷在线视频| 日本女色人人| 色一情一乱一乱一区9| 91精品无码| 99人这里只有精品| 色狠狠色噜噜AV天堂五区消防| 激情五月,婷婷五月,丁香五月| 亚洲午夜一区二区| 91日本在线观看| 乱精品一区字幕二区| 久久91久久精品久久| 影音先锋91视频| 超碰91人人操| 伊人超碰| 天天婷婷| 五月天激情婷婷| 精品亚洲国产成AV人片传媒| 欧美操我| 五月婷婷开心亚洲无| 色婷婷五月天综合网| 丁香婷婷情色五月天| 亚洲中文字幕AV| 国产亚洲成AV人片在线观黄桃| 日噜噜色| 欧美性二区| 开心五月婷| 4438激情网| 少妇人妻人伦A片| 黄色AAAA韩国guochansanji| 乱码操操| 久久人妻高清中文| 色99视频| 成人AV片播放| 色五月婷婷中文字幕| 婷婷婷五月天最新综合你懂的| 丁香五月婷婷基地| 99色热| 午夜日韩久久久网站| 色色是色N一| 涩五月色婷婷| 六月色色| 国产婷婷综合| 婷婷爱综合| 色婷婷激情| 日本综合色图| 九九热在线99| 黄页大全十八禁| 五月丁香激情综合网| 久热超碰| 91网站黄| 亚洲狠狠狠| 思思热视频在线观看| 内射 无码 伊人| 激情五月天色色| 午夜丁香五月天综合| 丁香婷婷基地| 91操在线| 婷久看人爽| www.99精品在线| 风流少妇A片一区二区蜜桃| 亚洲午夜电影| 丁香六月五月婷婷| AV中文在线| 欧美啪啪9| 激情综合六月| 99热免费| 五月婷在线影院| 丁香六月天婷婷开心综合| 99热免| www.99免费视频| 天天干天天干天天干天天干天天干天天| 九色91国产| BlACKEDRAW视频一区二区| 久久久色婷婷五月天| 激情五月婷黄版| 久久久宗合视频88| 色噜噜狠狠色综合无码久久欧美| 五月婷视频在线| 丁香六月婷婷操逼网| 天天玩夜夜操天天爽| 久久99热免费最新版| 超碰成人黄色网| 欧美日韩成人| 丁香婷婷五月色成人网站| 五月天大香焦| 中国AV性爱观看| 天天插综合| 国产精品视频| 九九热最新视频| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 嫩草视频观看| 99在线精品视频免费观看20| 亚洲午夜成人av电影网| 少妇日麻屄| 99热自拍| 激情久久久久久久久久久| 天天爽天天摸| www.97视频| 丁香六月婷婷综合激情欧美| 99综合在线| 欧美人人女女精品综合五月天| 婷婷五月天首页| 免费无码毛片一区二区A片| 色综合色| 九九亚洲| 百度4399有码精品V在线观看| 精品无码99| 97高清国语自产拍| 99热色无码| 91碰碰碰| 六月丁香久久| 色色色干| 91碰| 五月丁香91| 九九综舍久久| 久热免费视频| 激情九色| 天天爱天天爽| www.久久久久久| 色色色色热| 1024你懂的欧美曰韩| 丁香成人视频| 丁香五月婷婷高清| 亚洲 五月 婷婷 成人| 亚洲六月色| 五月丁香花伦理电影| 蜜臀AV在线观看| 国产色丁香| 99热免费| 99成人精品六| 少妇性BBB搡BBB爽爽爽视頻| 色婷婷五月基地在线| 色婷婷亚洲婷婷| 天天操夜夜啊| 97色婷| 玖玖资源部在线播放| 五月天婷婷影院| www.色婷婷。com| 伊人综合网站| 色婷婷五月婷婷五月婷婷五月| 国产精产国品一二三在观看 | 色色激情五月| 一区视频网站| 大香蕉婷婷丁香天堂AV| 91久操| 五月婷婷丁香| 成人欧美一区二区三区在线观看| 中国女人做爰A片| 丁香五月丁香伊人| 在线看片h站| 亚洲无码九九| 国产精品岛国片在线观看免费| 亭亭玉月丁香| 婷婷久久五月天丁香| www.五月婷婷久久.com| AV激情五月| 欧洲色色| 五月婷婷我| 99在线综合视频| 婷婷六月天| 99自拍网| 99噜噜噜在线播放| 久久久久久综合五月婷婷| 天天操天天操天天操天天操天天操 | 久久久国产精品黄毛片| 九色色| 国产婷婷久久| 久月婷婷| 性小说五月天| 婷婷中文综合网| 激情综合网激情五月天| 91色色色| 人人添人人| 激情婷婷在线| 婷婷射综合| 天搞天天天天天| 99ER热精品视频| 中文在线视频久1| 91成人电影| 丁香六月综合| 岛国av网| 久久丁香社| 啪啪一区| 五月噜噜| 久久免费丁香| 久操热| 色99热| 97干资源在线观看| 午夜色婷婷| 婷婷色5月天在线。| 日本综合九九| 中文字幕,综合,91| 秋霞午夜理论| 狠狠爱丁香婷| 色综合婷婷| 日日婷婷不卡| 五月丁香天堂| 丁香五月色| 人人综合五月人人婷婷| 噜噜狠狠色综合久| 成人看片网站| 五月开心色| 色噜噜婷婷| 久久人人添人人爽添人人片αV | 夜夜涩涩涩| 色五月美女| 九九五月天| 久久96热| 99日本黄站| 亚洲熟妇AV乱码在线观看| 久久这里只有精品热在99| 久久精品爱爱| 丁香五月 性爱| 婷婷久久五月丁香| 丁香婷婷六月激情综合| 8区视频在线| 91久久精品国产91性色TV| 婷婷五月天亚洲综合| 婷婷亚洲激情在线观看视频 | 五月天婷婷在线观看精品男人| 我想看国产大学生口爆吞精的视频| 成人在线日韩| 久久免费婷婷视频| 噜噜噜噜噜久| www.五月婷| 色色激情五月天| 99re这里只有| 丁香六月婷婷综合麻豆| 亚洲久久日| 久热在线中文字幕色999舞| 久久hd| 日日噜狠狠色综合久久| www久久99| 婷婷丁香大香蕉| 五月丁香六月婷| 成人精品99| 99热这里只有精品26| txt五月激情四射网综合俺也来了| www.色五月| 色色网站免费| 99热国产国产| 影音先锋一区| 中文字幕精品推荐免费在线观| 综合网激情| 久久久久人妻| 热99re| 99热综合| 久久激情五月网| 天天干在线播放| 可以免费观看的av| 日亚二欧美| 激情综合网激情五月丁香| 五月婷婷六月丁香激情深爱| 波多野结衣不卡AV| 久久久久久人妻| 天天日夜夜曹| 深爱丁香激情| 五月色婷婷亚洲| 激情久久久久久久久久久| 97大香蕉五月天| www色色色com| 99ri国产| 五月婷婷激情五月| wwwwww.色| 好好日激情五月天| 另类在线| 久久九九玖玖| 91视频久久久| 91啦丨九色丨刺激中文| 国产成人精品一区二区三区视频 | 亚洲欧洲中文日韩久久AV乱码| 精品人人操| 99综合| 丁香五月婷婷手机| 五月婷婷内射网| 国产67194| 九热视频在线精品15| 夜夜嗨一区二区三区直播内容 | www.久久爱.com| 婷婷五月天激情五月天网站| 做爱夜夜干天天操| 色碰碰视频| 久99热在线观看| 色九综合| 狠干综合| 欧美激情-区二区三区| 六月婷婷综合网2| 丰满少妇猛烈A片免费看观看| 丁香五月成人| 九九激情| 99精品国产热久久91色欲| 久久玖玖综合| 日韩五月丁香| 丁香六月婷婷激情| 婷婷五月图片小说网| 婷婷丁香五月激情中文字幕版| 丁香六月婷婷五月天| 99色在线视频| www狠狠| 五月丁香啪啪激情| -91九色大屁股| 亚洲午夜视频| www99精品| 精品成人在线观看| 大香蕉婷婷五月| 1区2区视频| 4399欧美另类视频| 色色色9 9 9| 99热很操老逼| 亚洲无码免费看| 97超级免费无码| 超碰天堂网| 婷婷在线五月综合| 婷婷五月五月丁香| 人妻免费网站| 成人在线免费网址| 色月丁| 欧美 日韩 成人| 久久久全国免费视频| 超碰熟女农村在线69| 无码少妇高潮喷水A片免费| 亚洲亚洲人成综合网络| 极品少妇高潮啪啪AV无码| 精品国产乱码久久久久夜深人妻 | 丁香婷婷月| 激情六月丁| 九九无码| 色啪综合| 天天做天天爽| 色狠狠色噜噜AV天堂五区| 欧洲电影在线观看免费版英语版| 夜夜嗨一区二区三区直播内容| 青青草伊人婷婷| 西西4r午夜剧场| 色五月色情| 操久久精| 亚洲永久免费| 激情丁香婷婷六月天| 色久婷婷网| 五月丁香天堂网婷婷| 五月涩涩网| 久久偷拍综合五月天| 另类小说色婷婷| 色综合综合色| 色综合五月| 亚洲乱码日产精品BD| 玩熟女五十AV一二三区| 五月婷婷黄网站大全| 国产操逼视频网站| 成人永久免费视频在线观看| 色婷婷导航| 青青操绿aaa一区日v| 五月开心婷婷| 99看片| 97色啪| 婷婷丁香人妻天天爽| 免费看欧美成人A片无码| 九九爱激情| 激情综合婷婷久久| 色婷婷777狠狠| 五月婷婷六月丁香激情深爱| 综合性视频99| 狠狠干无码| 天天摸天天肏| 99热这里是精品| 色色色色色色综合网| 日本三级片片| 婷婷五月天中文字幕| 激情五月天婷婷图| 国产高清RV综合aVa| 五月天久久网站| 操操国产| 极品人妻VIDEOSSS人妻| 香蕉99网| 五月天啪啪视频| 96性爱视频| 亚洲色优| 天天干夜晚夜操| 六月五月天婷婷涩播在线| 99九九中文字幕视频| 操操操www.com| 99免费视频在线观看爱| 欧美激情VA永久在线播放| 99爱视频在线观看| 九九九九热99超碰| 五月丁香六月激情综合| 婷丁五月| 五月天五月天成人网亭亭成人色网站| www.91.com黄| 最近中文字幕大全免费版在线| 国产黄色大片| 日本3级片偷拍网站| 狠狠色婷婷丁香六月| 99精品小视频| 99热都是精品| 九九色情网五月天| 无码se| 婷婷丁香激情五月天色色| 欧美视频五区| 五月天电影网| 欧洲一区二区| 99热在线中文字幕| 婷婷五月电影| 2025超碰| 九九色婷婷| 天天干天天叉| 一级性爱视频| 久久久久久久久99精品| 天天综合图片| 玖玖午夜视频| 色狠狠色噜噜AV天堂五区 | 天天肏夜夜肏| 99热久久日本| 91碰碰| 99精品久久久久久久婷婷久久 | WWW色五月| 婷婷五月av| 岛国AV网站| 99热这里只有精品2| 男人大jjc女人免费视频| 久久9精品| 天天操狠狠操| 久久婷婷五月综合| 综合亚洲AV| 五月综亚洲| 九热...av| 内射 无码 伊人| 热的五码久久精品| 91大屁股精品| 新激情婷婷| 久久色在线视频| 日本99在线| av在线免费播放观看| www.婷婷五月天,com| 丁香五月成人av| 国产69久久久欧美黑人A片| 成人在线不卡| 五月丁香六月成人| 亚洲熟妇AV乱码在线观看| 久久综合中文| 婷婷丁香五月,狠狠综合| 思思热视频在线| 九月激情综合| 人人爱人人添| 国产毛片欧美毛片久久久| 日韩无码专区| 国产亚洲色婷婷久久99精品91| 任你草| 丁香五月婷婷AV| 99热在线精品观看| 亚洲综合在线视频| PORNY九色9l自拍视频成人| 激情综合色播| 精品成人在线| 这里只有精品视频在线观看免费| 色综合天堂| 免费AV在线网址| 中文字幕色色色| 色色99| 色五月丁香六月资源站| 先锋资源91| 五月花激情网| 丁香五月激情综合啪啪| 免费精品99| 丁香五月欧美成人| 五月婷婷九九热| 五月激情婷婷四射| 99久久精品网| 国产午夜成人AV在线播放| 亚洲国产精品成人免费一区久久久在线观看AAAA | 禁欲电影完整版在线播放| 欧美噜噜噜草| 91色五月| 秋霞AV淫| 日韩精品一区二区亚洲AV观看 | 色婷婷激情Av久久久| 婷婷五日b| 色综合天天| 亚洲国产精品成人免费一区久久久在线观看AAAA | 狠狠五月天婷婷激情网。| 婷婷色在线| 日韩免费乱轮网站| 91蜜桃婷婷狠狠久久综合9色| 色综合久久88色综合天天看| 婷婷五月天六月丁香| 色约约视频一区二区三区四区五区| 99热99这里有免费的精品| 丁香婷婷六月| 六月色婷婷色| www.婷婷五月| www.五月婷婷久久.com| 五月婷啪啪| 久久大香蕉视频| 99性爱| www.sebowuyue| 婷婷五月天基地| 大香蕉九九操| 色色色色网| 性爱五月婷婷| 亚洲va成人va成人va在线观看| 婷婷性爱综合| 99热这里只有精品中文字幕| 久久 无毛。| 天天日 天天草| 91丁香| 免费播放片大片| 激情熟女网| 综合图区激情| 超碰成人公开| 蜜桃五月天色| 在线五月婷| 99精吕视频在线观看了| 激情九九九九| 夜丁香五月婷婷| 墨西哥毛片内射精| 玖玖热视频| 欧美日韩成人在线免费| 色九月婷婷丁香| 国产ava| 色噜噜婷婷| 6月丁香婷婷| 大香蕉综合网| 色婷婷五月综合在线| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 色丁香五月天| 亚洲久热| 五月婷婷中字在线| 中文字幕无码人妻少妇免费视频| 婷婷成人丁香色情基地30 | 人妻内射麻豆视频| 久色精品| 亚洲天码视频www蛋播视频| 国产黄色av| 天天爽天天干| 久久久香| 色婷婷久久| 日在线V视频在线播放| 久久人人添人人爽添人人片αV| 五月天五月天激情网| 美国不卡视频| 五月丁香成人| 亚洲五月天第一综合干| 熟女人妻一区二区三区免费看| 五月综合婷婷久久在线| 色五月色五天色情网址| 丁香五月婷婷五月天| 九九99免费理论| 九九久久99| 99免费视频精品| 国产中文字幕在线视频免费观看 | 久久作爱| tingtingjiqingwuyue| 超碰在线免费观看日韩| 丁香五月婷婷在线| 午夜色婷婷| 香蕉AV福利精品导航| 六月久久狠狠| 玖玖婷婷综合| 99这里有精品视频| 色日本网| 九热精品| 国产亚洲精品久久久久久郑州| 另类国产综合| 婷婷va| 色婷婷五月天偷拍| 五月婷深深爱激情网| bukadeavzaixian| AV操操操| 少妇人妻凹凸视频| 国产日韩av片| 国产av天堂| 这里只有久久精99| 九九热精品| 99精品视频在线观看| 人妻精品一区二区三区| 大香蕉520| 五月丁香六月片| 99九九视频精彩在线| 久久婷五月| 婷婷色五月91啪啪| 综合性爱网| 四色 爱 婷婷 精品 亚洲 五月天| 无码人妻一区二区一牛影视| www99热| 五月花婷婷最新| 超碰色天堂| 91九色在线| 九九精品网| 婷婷在线播放av| 波多婷婷久久| 五月婷婷99热| 久久性爱网站| 色色网91| 亚洲综合五月| 色五月色五天免费视频| 丁香五月天导航| 久久久99精品免费观看| 色五月激情综合| 激情5月婷婷狠狠干| 操操精品| 99热这里有精品| 日熟女| 中文字幕丁香五月| 五月综合丁香婷婷| 高潮毛片又色又爽免费| 九月综合| 丁香五月天五码婷婷| 色婷婷在线影院| 精品夜夜澡人妻无码AV| 婷婷五月免费视频| 能看的av片| 亚洲不卡欧洲| 色婷婷亚洲综合网站| 久草五月天| 99久久玖玖| 五月婷婷伦理| 日本九九视频| 伊人热在线大香蕉| 婷婷网五月天| 狠狠人人婷婷| 丁香六月婷婷综合网| 久久天堂网| 五月丁香激情六月| 在线看av| 天天爽天天| 色色色热热热| 一區四區歐美日韓| 超碰在线观看9| 爱操天堂| 五月天激情视频| 婷婷五月天丁香社区| 欧美综合激情五月| 91综合在线| 丁香婷婷综合激情五月色| 久久人妻超碰一区| 成人在线99| 第四色大香蕉| 五月天激情综合10p| 婷婷激情伍月网| 香蕉久久六月| www99精品在线观看| 这里有精品| 中文字幕永久免费| 人人草人人视| 就爱操www com| 五月天婷婷免费| 182无码| a网站免费观看| 婷婷精品| 丁香五月激情综合| 99在这里有精品| 热无码A∨| 九九碰九九爱97超碰| 五月丁香综合影院| 久久婷婷网址| 亚洲A片成人无码久久精品青桔| 91久久久久久| 婷婷五月天综合AV| 婷婷五月在线播放| 色综合久久88色综合中文字幕| 色五月无码| 久久9精品| 黄色精品五月婷婷| 中文字幕天天干| 91a片爽| 国产欧美性成人精品午夜| 九九热99热| 国产精品日日躁夜夜躁| 婷婷五月婷婷| 久久婷婷五月综合色丁香| 99这里只有精品在线| 激情综合青草| 超碰免费在线| 色色色综合色| 大香蕉久久婷婷| 热久久婷婷| 嫩草免费视频| 国产无套精品一区二区| 国产精品一区在线观看你懂的| 婷婷情色五月天| 日本爆乳片手机在线播放| 这里精品| 丁香六月色婷婷| 思思久久青草热| 狠狠五月天婷婷激情网。| 97久久香草精品视频| 玖玖伦理电影| 99热这里在线精品| 热99国产精品| 成人网站免费在线播放| a色婷婷| www九月婷婷| 日韩精品无码AV| W色综合| 久久黄色片| 丁香六月丁香婷婷激情| AA片在线观看视频在线播放| 五月丁香| av九九| 极品人妻VIDEOSSS人妻| 激情综合五| 少妇2做爰HD韩国电影| 久久婷婷五月天| 欧美色综合天天久久综合精品| 亚洲亚洲人成综合网络| 国产精品久久久久久久久久免费| 色99色| 99精品国产在热久久| 搡BBBB搡BBB搡18| 人妻内射一区二区在线视频| 四季8848精品成人免费网站| 亚洲视频在线观看| 一区二区成人电影免费播放| 一起草AV入口| 日本狠狠干| 精品一二三区久久AAA片| 久久人人做人人妻人人玩精品va| 精品一二三区久久AAA片| 97在线观视频免费观看| 超碰只有精品在线| 先锋影音男人的天堂AV| 伊人激情综合| 久久五月天丁香花| 色婷婷播放| 99热高清在线| 爱iii做iiii日日| 91精品久| 久热69| 99re免费精品视频| 婷婷综合五月| 人妻性爱av网站| 丁香五月婷婷色五月| 99热这里精| 婷婷爱五月天人人爱| 天天天天爽爽天干| 殴美综合激情五月天免费视频| 狠狠操狠狠| 久久久99久久| 99操逼| www.色五月| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 大香蕉婷婷丁香天堂AV|