欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

DeepGEMM:基于 Hopper Tensor Core 的 FP8 矩陣乘法內(nèi)核優(yōu)化實踐

DeepGEMM:基于 Hopper Tensor Core 的 FP8 矩陣乘法內(nèi)核優(yōu)化實踐 很多搞深度學(xué)習(xí)的朋友都有過這種體驗GPU 利用率監(jiān)控看著沒毛病可訓(xùn)練吞吐就是上不去排查鏈路轉(zhuǎn)了一圈才發(fā)現(xiàn)時間幾乎全耗在同一類運算上——矩陣乘法。我之前做模型性能剖析時統(tǒng)計過從 embedding 到輸出層GEMM 類算子能占到整體耗時的七成以上。這也是我后來動手寫 DeepGEMM 這套 FP8 矩陣乘法內(nèi)核的根本原因與其在框架層反復(fù)做圖優(yōu)化不如直接吃透最底層這塊硬骨頭。DeepGEMM 的目標(biāo)很單純——利用 Hopper 架構(gòu) GPU 上 Tensor Core 與 TMA 的能力實現(xiàn)一個針對 FP8 輸入、FP32 累加的矩陣乘法內(nèi)核。它不是一個要替代工業(yè)級內(nèi)核庫的通用方案更像是我對自己的一次摸底GEMM 到底怎么設(shè)計才能在特定 shape、特定精度下把硬件算力吃干凈。這篇文章會從為什么自研、底層原理、實現(xiàn)路徑、性能調(diào)優(yōu)到一次完整的排錯過程都攤開來講適合正在優(yōu)化自有算子、或者單純想搞清楚 Tensor Core 內(nèi)部邏輯的工程師和研究者。1. 為什么自己寫 GEMM模型跑得慢不一定怪 GPU1.1 先算一筆賬一次 Transformer 前向里的 GEMM 占比隨便拿出一個中等規(guī)模的 Transformer 模型前向計算里最重頭的部分就是四個映射矩陣乘法Q、K、V 的投影是一次大 GEMMattention score 的計算是一次 batched GEMMscore 對 V 的加權(quán)又是一次 batched GEMMFFN 兩層則貢獻了剩余兩次超大矩陣乘。再加上 softmax、LayerNorm 這些逐元素算子和歸一化操作整個 forward 的 GEMM 占比很容易超過 70%。訓(xùn)練場景還多一個反向傳播矩陣乘的數(shù)量直接翻倍這個比例只會更高。所以當(dāng)你在性能剖析工具里看到某個 GEMM 算子耗時異常別急著懷疑數(shù)據(jù)加載或者并行通信先檢查算子本身的實現(xiàn)效率。這也是自研 GEMM 內(nèi)核最直接的收益點你可以精確控制每一字節(jié)的訪問路徑和每條硬件指令的調(diào)度而不是被迫接受別人預(yù)設(shè)的策略。我見過好幾次換庫版本后推理提速的案例本質(zhì)就是新版本對某些 shape 選擇了更合適的 tile 切分而不是什么玄學(xué)優(yōu)化。1.2 cuBLAS 和 CUTLASS 都很好為什么還要有 DeepGEMM官方庫封裝得越徹底對調(diào)用者來說黑盒程度就越高。cuBLAS 確實在絕大多數(shù) shape 上表現(xiàn)優(yōu)秀但它不會把內(nèi)核實現(xiàn)的細節(jié)暴露給你一旦遇到非標(biāo)準(zhǔn) shape 或特定精度需求你只能按它提供的預(yù)估接口去猜性能行為。CUTLASS 項目給了高度靈活的模板組合理論上可以拼出各種內(nèi)核策略但它概念繁多、模板深度很重想在里面改一條 TMA 加載路徑或調(diào)整 swizzle 策略學(xué)習(xí)成本相當(dāng)高。DeepGEMM 的定位就是輕量定制內(nèi)核。它不需要覆蓋所有硬件平臺和所有矩陣 shape只需要在自己的目標(biāo)機器上做到足夠快。這種取舍帶來兩個直接好處一是代碼量小、可讀性強每一條關(guān)鍵路徑都能很快定位二是遇到性能問題時可以拿官方庫做基準(zhǔn)對照從 profiling 數(shù)據(jù)中反推差距在哪個環(huán)節(jié)真正把性能優(yōu)化的能力握在自己手里。如果你的業(yè)務(wù)只是定期跑幾類固定矩陣規(guī)模自研內(nèi)核完全有理由比通用庫更貼合你的計算模式。1.3 DeepGEMM 的目標(biāo)邊界FP8、Hopper 與工程妥協(xié)做任何內(nèi)核項目都要先劃清邊界否則會因為什么都想支持而陷入無盡復(fù)雜度。DeepGEMM 的初始范圍如下精度A、B 矩陣輸入為 FP8E4M3/E5M2 可配累加器用 FP32硬件僅針對 Hopper 架構(gòu) GPU 做優(yōu)化重點使用其 TMA、wgmma 和分布式共享內(nèi)存能力Shape面向超大矩陣M、N 在 2048 以上做滿波優(yōu)化小矩陣則退回到簡單路徑不做過深調(diào)優(yōu)擴展性后端預(yù)留了 BF16 路徑主要用于精度對照實驗不作為默認主線。這個邊界意味著我不需要處理 Ampere 等舊架構(gòu)的兼容性可以把精力全部投入到大矩陣、批量加載、深流水線這一條主路上。工程上做減法和劃邊界是同樣的道理方案越單純越容易分析出性能瓶頸范圍一旦蔓延調(diào)試時會發(fā)現(xiàn)每個符號都可能是錯的。2. GEMM 內(nèi)核的底層邏輯從最樸素循環(huán)到 Tensor Core 的關(guān)鍵躍遷2.1 最簡單的 GEMM 內(nèi)核長什么樣寫一個在 CPU 上可以跑通的樸素版 GEMM只需要三重循環(huán)對每個輸出元素 C[i][j]累加 A 的第 i 行與 B 的第 j 列的內(nèi)積。拿到 GPU 上如果也照這個邏輯寫結(jié)果就是災(zāi)難每個線程反復(fù)從全局內(nèi)存讀取同一段數(shù)據(jù)復(fù)用率趨近于零帶寬瞬間成為瓶頸。一個 GPU 上有幾千個并發(fā)線程如果它們都在串行讀同一批 A 元素緩存會被完全沖垮。// 最樸素的 GEMM 思路每個線程算一個輸出元素 // 不考慮任何復(fù)用、布局、向量化僅作為反面教材 __global__ void naive_gemm_kernel(const float* A, const float* B, float* C, int M, int N, int K) { int row blockIdx.y * blockDim.y threadIdx.y; int col blockIdx.x * blockDim.x threadIdx.x; if (row M || col N) return; float sum 0.0f; for (int k 0; k K; k) { sum A[row * K k] * B[k * N col]; } C[row * N col] sum; }這段代碼每個線程要讀 K 個 A 元素和 K 個 B 元素如果一個 warp 的 32 個線程各自負責(zé)相鄰 row 但相同 colB 的讀取在緩存層面還能有一定復(fù)用A 的讀取則完全重復(fù)。數(shù)據(jù)量稍微一漲DRAM 吞吐就直接封頂。真正高性能的 GEMM 內(nèi)核必須解決兩個核心問題數(shù)據(jù)復(fù)用結(jié)構(gòu)怎么設(shè)計計算指令怎么選擇。2.2 計算強度FLOPs 再高也怕帶寬卡脖子判斷一個計算任務(wù)是否訪存密集還是計算密集關(guān)鍵看計算強度——單位字節(jié)的數(shù)據(jù)能支撐多少次浮點運算。一個 MNKn 的方陣乘法總計算量是 2n^3 FLOPs輸入數(shù)據(jù)量是 3n^2A、B、C 各一次讀寫。把兩者相除計算強度等于 2n/3。n1024 時約 680 FLOPs/Byte遠高于現(xiàn)代 GPU 的算訪比比如某 Hopper GPU 的 FP8 算力若按 1900 TFLOPS、HBM 帶寬按 3.35 TB/s算訪比約 570意味著理論上是計算密集型??涩F(xiàn)實中為什么很多 GEMM 跑不出峰值因為沒有有效的數(shù)據(jù)復(fù)用結(jié)構(gòu)實際從 DRAM 搬運的字節(jié)數(shù)是理論值的幾十上百倍。所以優(yōu)化的本質(zhì)就是通過分塊讓數(shù)據(jù)盡可能留在片上。一個數(shù)據(jù)元素被讀到寄存器后如果能參與多次乘累加DRAM 的壓力就成倍下降??紤] tiling 之后計算強度公式會變成一個關(guān)于 tile 尺寸的函數(shù)塊越大K 維循環(huán)中每個加載元素被使用的次數(shù)越多。2.3 三級存儲的 Tiling 協(xié)作寄存器、SMEM、GMEMGPU 芯片上的存儲層級可以類比成廚房的操作臺全局內(nèi)存相當(dāng)于倉庫共享內(nèi)存相當(dāng)于灶臺寄存器相當(dāng)于手邊已經(jīng)洗凈備用的配料。GEMM 內(nèi)核算法的核心就是設(shè)計一條從倉庫批量取貨、放到灶臺上、再在手里快速加工的流水線。傳統(tǒng) CUDA 手動調(diào)度路徑里一個 CTA 通常負責(zé)一個輸出 tile先在共享內(nèi)存鋪好 A 和 B 的塊再由各線程從 SMEM 讀取數(shù)據(jù)做乘累加。Tile 尺寸的選擇直接決定復(fù)用率和硬件資源占用。常見策略是每個 CTA 負責(zé) 128x128 或 128x256 的輸出 tileK 維每次處理 16 或 32。計算一下 SMEM 占用就知道A 和 B 兩個 tile 若都是 128x32且 A、B 都是 1 字節(jié)的 FP8需要的共享內(nèi)存約 8KB如果上雙緩沖翻倍到 16KB。這個數(shù)字相對于一塊 Hopper GPU 上 228KB 的 SMEM 來說非常充裕于是還可以進一步加寬 N 方向的 tile用更多的片上數(shù)據(jù)換取更低的 DRAM 訪問頻率。A tile 128 x 32 -- FP8: 128*32 4096 字節(jié) B tile 32 x 256 -- FP8: 32*256 8192 字節(jié) 雙緩沖總占用: 2 * (4096 8192) 24576 字節(jié) Hopper SMEM 典型容量約 228KB留白充足這個算術(shù)題看起來很樸素但它決定了內(nèi)核能否在寄存器、SMEM、GMEM 之間保持足夠深的流水線。數(shù)據(jù)一旦能在片上多待一輪全局內(nèi)存的帶寬壓力就小一輪。3. DeepGEMM 的實現(xiàn)路徑FP8 格式、Tensor Core 與 warp 分工3.1 FP8 的 E4M3 與 E5M2兩個尾數(shù)位的取舍FP8 不是一個單一的浮點格式它有 E4M3 和 E5M2 兩種子格式。E4M3 用 4 位指數(shù)加 3 位尾數(shù)取值范圍相對窄但精度更高E5M2 用 5 位指數(shù)加 2 位尾數(shù)動態(tài)范圍大但尾數(shù)噪聲更明顯。做矩陣乘法時通常把激活值用 E4M3 存儲權(quán)重則根據(jù)是否需要大動態(tài)范圍在 E4M3 和 E5M2 之間選擇。格式符號位指數(shù)位尾數(shù)位最大值范圍適用場景E4M3143約 448激活值、權(quán)重的主選E5M2152約 57344梯度、中間動態(tài)范圍大的數(shù)據(jù)FP8 本身不能直接用于精度要求高的累加。實際計算必須以 FP32 作為累加器同時給輸入乘一個縮放因子scale。DeepGEMM 在加載數(shù)據(jù)后、送入 Tensor Core 之前會先檢查數(shù)據(jù)的整體范圍將 FP8 值反量化到實際浮點范圍。這個過程不是每元素做一次除法而是提前算好 scale最后在輸出端乘回來。這個設(shè)計在代碼層看起來只是多了兩個乘法但它決定了整個量化誤差的分布形態(tài)。3.2 Tensor Core 指令形態(tài)從 mma.sync 到 wgmma要真正把 FP8 算力燒起來光靠普通的 FMA 指令是不夠的。Tensor Core 本質(zhì)上是一組專用的矩陣乘累加硬件單元需要通過特定指令驅(qū)動。在 Ampere 時代最直接的編程方式是 mma.sync 指令族比如 m16n8k16 這樣的形狀表示一次讓一個 warp 協(xié)同完成 16x8x16 的矩陣乘片段。Hopper 時代則提供了更強的 wgmma 指令它不再以一個 warp 為單位而是以一個 warp group 為單位一次可以處理更大的矩陣塊并且支持異步流水線。DeepGEMM 的核心計算路徑選擇 wgmma 作為主用路徑。使用 wgmma 的好處顯而易見一次指令能覆蓋更大的輸出范圍硬件調(diào)度也允許與數(shù)據(jù)搬運輸送完全重疊。但也帶來了一個副作用——warp 之間的同步和描述符管理變得復(fù)雜。一條 wgmma 指令需要引用 A、B 矩陣在共享內(nèi)存中的地址布局描述符這些描述符由 Tensor Core 的 TMA 硬件讀取若描述符內(nèi)部的 stride 或 swizzle 參數(shù)寫錯結(jié)果會非常離譜。3.3 生產(chǎn)者-消費者分工TMA 搬運與計算解耦Hopper 最值得利用的新特性之一就是 TMATensor Memory Accelerator。它允許你用一條指令把全局內(nèi)存中一個 2D 或 3D tile 直接搬到共享內(nèi)存還可以在搬運過程中完成 swizzle 布局變換。這意味著傳統(tǒng)內(nèi)核里線程算地址、加載、再同步的模式被徹底改變了數(shù)據(jù)搬運不再消耗計算線程的指令周期。DeepGEMM 把 warp 分成生產(chǎn)者和消費者兩類。生產(chǎn)者的職責(zé)只有兩個準(zhǔn)備 TMA 描述符、發(fā)布搬運請求消費者的職責(zé)是等待數(shù)據(jù)到達共享內(nèi)存然后啟動 wgmma 計算。這個模型很像工廠里的采購員和裝配工采購員只管把原料運進倉庫裝配工不管原料怎么來的只等倉庫里有貨就開工。// 概念性偽代碼數(shù)據(jù)流水線主循環(huán) // 僅用于說明生產(chǎn)者-消費者結(jié)構(gòu)不表示完整內(nèi)核實現(xiàn) for (unsigned k_step 0; k_step K / K_BLOCK; k_step) { if (k_step 1 K / K_BLOCK) { // 生產(chǎn)者角色預(yù)取下一塊 A、B 到另一個共享內(nèi)存緩沖 tma_load_to_smem(A_smem[1 - cur], A_global_desc); tma_load_to_smem(B_smem[1 - cur], B_global_desc); } // 消費者角色等待當(dāng)前緩沖數(shù)據(jù)就緒后啟動 wgmma wgmma_async(acc_smem, A_smem[cur], B_smem[cur], ...); }這個示例里的雙緩沖結(jié)構(gòu)把搬下一塊和算當(dāng)前塊完全重疊只要 TMA 的搬運速度大于 wgmma 的消費速度流水線就能一直保持滿載。實際工程里緩沖深度還可以加到三份甚至四份換取更大的容忍波動能力。3.4 分布式共享內(nèi)存跨 CTA 協(xié)作的進階玩法Hopper 還有一個容易被忽視的能力集群內(nèi)的多個 CTA 可以組成一個線程塊集群通過分布式共享內(nèi)存機制互相讀取對方在共享內(nèi)存中的數(shù)據(jù)。這意味著一個 CTA 計算輸出 tile 時不需要把完整的 A 或 B tile 都裝進自己那一份 SMEM 里而是可以讓相鄰 CTA 把自己的 A tile 分享出來。DeepGEMM 在部分 shape 上啟用了這個功能。比如一個大矩陣的 N 方向被切成很多窄條相鄰 CTA 所需的 B tile 完全一樣此時讓其中一個 CTA 加載并廣播給其他 CTA能省掉重復(fù)的 DRAM 讀取。這個特性讓 tile 切分策略有了新的維度不再單純?yōu)榱藴p少全局訪問而把 SMEM 塞滿還可以通過集群通信實現(xiàn)數(shù)據(jù)共享。當(dāng)然分布式共享內(nèi)存也帶來同步復(fù)雜度???CTA 訪問數(shù)據(jù)必須用集群級的 barrier 保證順序稍有不慎就會出現(xiàn)讀到了半成品數(shù)據(jù)的問題。我的建議是第一版內(nèi)核先別碰這個特性等單 CTA 路徑跑穩(wěn)、性能基線確定后再作為進階優(yōu)化加上去否則出現(xiàn)問題時會很難分清是 TMA 描述符寫錯還是集群同步丟步。4. 性能調(diào)優(yōu)在 Nsight Compute 面前逐項逼出峰值4.1 第一輪先跑通基線版本記錄真實的短板任何優(yōu)化都離不開可量化的起點。DeepGEMM 第一版是直接照搬常見 CUTLASS 思路寫出來的基礎(chǔ)雙緩沖版本沒有做 swizzle也沒有分布式共享內(nèi)存。在這種狀態(tài)下絕大多數(shù)矩陣 shape 是能跑對結(jié)果的但性能大概只有硬件峰值的 30% 左右。此時最該做的事不是繼續(xù)加特性而是用分析器看清瓶頸到底在哪個硬件單元。Nsight Compute 里有幾個關(guān)鍵指標(biāo)值得重點看sm__pipe_tensor_cycles_active反映張量核心忙碌程度l1tex__data_bank_conflicts反映共享內(nèi)存 bank 沖突嚴重性dram__throughput反映顯存壓力。第一版實測數(shù)據(jù)中tensor 核心利用率不高同時 bank conflict 告警非常密集。這說明當(dāng)前內(nèi)核的問題在數(shù)據(jù)供給路徑而不是計算單元本身。這個判斷把優(yōu)化方向從改計算指令引導(dǎo)到了改數(shù)據(jù)布局。4.2 第二輪SMEM 地址布局與 bank conflict 的博弈共享內(nèi)存按 bank 組織同一地址周期只能讓每個 bank 輸出一份數(shù)據(jù)。如果多個線程同時訪問落在同一個 bank 但不同地址的位置就會發(fā)生所謂的 bank conflict一次訪存被拆成多次。GEMM 這種高并發(fā)讀 SMEM 的負載對 bank 布局極度敏感。最簡單的布局下A tile 按行連續(xù)排列一行 128 字節(jié)。如果一行正好跨越了 32 個 bank 的兩個周期而 warp 里的線程又在讀同一列的數(shù)據(jù)沖突就會出現(xiàn)。解決辦法是給地址加上一層 swizzle讓每個線程讀到的邏輯位置映射到不同的物理 bank。以常見 128 字節(jié)行寬為例可以按 8 行一組做異或擾動// 常見 swizzle 策略按行、列做 XOR 擾動 // 實際使用哪種模式取決于 tile 形狀和 SMEM 寬度 constexpr int SMEM_STRIDE 128; // 字節(jié) int swizzled_offset (row * SMEM_STRIDE) ^ ((col % 32) * 4);這行代碼看起來像是在亂改偏移但它把原本順序訪問的模式打散成了跨 bank 的均勻分布。實測在加了 8 行 XOR swizzle 后bank conflict 基本消失張量核心利用率直接提升了一截。這個階段最值得留意的是不要憑直覺猜 swizzle 公式而是每次調(diào)整后都重新跑分析器看沖突計數(shù)是不是真的下降。4.3 第三輪雙緩沖升級為深度流水線延遲隱藏更進一步雙緩沖能解決搬一陣、停一陣的交替問題但還不能完全覆蓋 TMA 的啟動延遲。TMA 搬運一個大 tile 的延遲可能達幾百個周期如果流水線只有兩級消費者等數(shù)據(jù)到達時仍會有明顯暫停。DeepGEMM 后續(xù)把緩沖數(shù)加到三份讓 TMA 始終在搬運下一塊或下下一塊的數(shù)據(jù)消費者計算當(dāng)前塊。從代碼結(jié)構(gòu)上講這需要維護一個下一塊指針隊列而不是簡單地切換 cur 和 next。偽代碼上表現(xiàn)為// 三級緩沖的索引管理環(huán)形隊列 unsigned buf_idx (k_step % 3); unsigned next_idx ((k_step 1) % 3); unsigned after_next_idx ((k_step 2) % 3);三級緩沖換來的是更高的流水線余量讓 wgmma 和 TMA 的時序抖動被緩沖吸收。實測三級緩沖相比二級在超大 K 的矩陣上提升了大約 8% 到 10%。這是因為 K 越大每個輸出 tile 需要連續(xù)搬運的數(shù)據(jù)塊越多流水線越深越不容易把空缺暴露出來。至于要不要繼續(xù)加到四級、五級取決于 SMEM 容量預(yù)算畢竟還要給 wgmma 的累加結(jié)果留位置。4.4 實測數(shù)據(jù)不同 shape 下 DeepGEMM 與官方庫對比以下是某塊 Hopper 架構(gòu) GPU 上的實測對照數(shù)據(jù)。需要說明的是官方庫的版本更新很快不同版本在同一 shape 上數(shù)據(jù)會浮動這里只記錄當(dāng)時測試環(huán)境下的結(jié)果作為策略參考而非排名結(jié)論。矩陣規(guī)模 (M x N x K)實現(xiàn)方案耗時 (ms)TFLOPS8192 x 8192 x 4096官方庫 BF160.86約 6408192 x 8192 x 4096DeepGEMM FP8 雙緩沖0.54約 10198192 x 8192 x 4096DeepGEMM FP8 三緩沖swizzle0.49約 11231024 x 4096 x 2048官方庫 FP80.041約 4191024 x 4096 x 2048DeepGEMM FP80.037約 464大矩陣規(guī)模下DeepGEMM 通過三緩沖和 swizzle 達到了硬件峰值的 50% 以上相比雙緩沖版本有明顯優(yōu)勢。但中小矩陣下差距就小很多了原因有兩個CTA 總數(shù)量不夠無法把所有 SM 都占滿TMA 的單次搬運塊偏小延遲隱藏的空間有限。這也驗證了之前定下的邊界主打超大矩陣小矩陣場景用簡單路徑就夠了。5. FP8 運算的精度陷阱兩個尾數(shù)位省下來的成本5.1 為什么 FP32 累加器并不能解決所有問題FP8 的輸入只有 3 位尾數(shù)E4M3相乘結(jié)果的尾數(shù)位更是有限。即使 Tensor Core 支持 FP32 累加累加時的舍入順序依然會帶來浮點誤差。舉個例子連續(xù)累加幾千個數(shù)如果其中某個中間結(jié)果相對其他值大很多小值就會被大值完全淹沒這在浮點運算中被稱為吸收消除。FP32 累加器可以緩解尾數(shù)截斷但無法修復(fù)輸入本身的量化噪聲。想進一步提高數(shù)值穩(wěn)定性有兩條常用手段。其一是隨機舍入以數(shù)據(jù)低位為概率將結(jié)果向上下兩個方向隨機舍入這樣多次計算的平均誤差趨于零。其二是把累加順序做樹形規(guī)約在硬件允許范圍內(nèi)盡量讓相同量級的數(shù)先相加減少大數(shù)對小數(shù)的影響。DeepGEMM 的默認路徑使用普通順序累加因為 Tensor Core 的硬件路徑已經(jīng)固定但在需要高精度的場景可以切換到隨機舍入模式。5.2 scale 設(shè)計per-tensor、per-channel 與在線量化scale 的選擇直接決定 FP8 的量化誤差。最簡單的 per-tensor 方案是拿整個矩陣的最大絕對值去除得到一個統(tǒng)一的 scale。實現(xiàn)簡單但如果激活值分布不均比如某些通道整體極小某些通道極大統(tǒng)一 scale 會讓小通道幾乎退化成零。策略開銷誤差特點DeepGEMM 支持情況per-tensor最低分布不均時誤差大默認per-channel中等對權(quán)重效果好激活仍需謹慎可配per-group (128元素一組)較高誤差最平穩(wěn)訓(xùn)練場景建議訓(xùn)練場景中在線量化需要在每次前向時動態(tài)統(tǒng)計 scale這個操作本身又增加了一輪歸約計算。DeepGEMM 在推理路徑上采用離線校準(zhǔn)的方式把 scale 在部署前算好在訓(xùn)練路徑上則按 128 元素分組做動態(tài)統(tǒng)計配合隨機舍入讓 FP8 的精度損失接近 BF16 結(jié)果。5.3 實測失真的對照實驗我在一個中等規(guī)模的 Transformer 訓(xùn)練任務(wù)上對比了三種方案。BF16 基線訓(xùn)練到固定步數(shù)后 loss 為 0.32FP8 per-tensor 方案為 0.35訓(xùn)練曲線尾部有抖動FP8 per-group 加隨機舍入方案回到 0.33 附近收斂曲線與 BF16 基本貼合。這說明 FP8 用在訓(xùn)練上完全可行前提是 scale 不能偷懶至少要做分組級的統(tǒng)計。推理階段相對寬松。固定權(quán)重的前提下per-tensor scale 帶來的精度損失可能只有幾個百分點對于大部分應(yīng)用可以接受。這里我給個實際建議如果你的部署模型對精度非常敏感先在驗證集上同時跑 per-tensor 和 per-channel 兩組推理比較輸出分布的變化再決定是否需要更復(fù)雜的量化策略不要一上來就上最貴的方案。6. 排錯實錄一次 K 維不對齊引發(fā)的 48 小時定位6.1 現(xiàn)象某些 shape 完全正常另一些隨機出錯DeepGEMM 跑常規(guī) shape 時一直很穩(wěn)直到某次我測試 M6144、N6144、K1280 的矩陣乘法結(jié)果出現(xiàn)隨機性錯誤。更奇怪的是M4096、N4096、K1024 時一切正常K1024 和 K1280 都是 32 的整數(shù)倍為什么一個對、一個錯復(fù)現(xiàn)時還是概率性的有時連續(xù)跑五次錯兩次有時全部正確非常折磨人。這種概率性出錯通常指向兩種情況數(shù)據(jù)競爭或者越界寫入。如果只是算術(shù)邏輯錯誤結(jié)果應(yīng)該是穩(wěn)定地錯而不是隨機錯。所以我第一時間把懷疑對象鎖定在 TMA 搬運和共享內(nèi)存生命周期管理上而不是數(shù)學(xué)公式。6.2 排查鏈路從數(shù)據(jù)斷言到 TMA descriptor 邊界第一步是加數(shù)據(jù)斷言。我在每個 k_step 之后用 CPU 復(fù)算同一塊輸出和 GPU 結(jié)果比對發(fā)現(xiàn)偏差出現(xiàn)在特定的 tile 組合上而且往往發(fā)生在后半段 K 循環(huán)。接著關(guān)閉雙緩沖把流水線退化成搬一塊、算一塊、再搬一塊錯誤出現(xiàn)的概率降低但沒消失。這一步排除了純粹的雙緩沖競爭——若是生產(chǎn)者消費者同步問題單緩沖下應(yīng)該完全消失。第二步是用內(nèi)存檢測工具跑同一 case。工具很快報出共享內(nèi)存越界寫入的警告指向一個 CTA 在某次循環(huán)里寫到了自己 SMEM 范圍之外。順著這個線索我開始逐行檢查 TMA 描述符的邊界計算尤其是 K 維循環(huán)接近末尾時的 tile 尺寸處理。最后發(fā)現(xiàn)問題出在一個邊界分支里當(dāng) K 的剩余長度不足一個 K_BLOCK 時代碼仍然用了完整的 K_BLOCK 去構(gòu)造描述符導(dǎo)致 TMA 讀取越界數(shù)據(jù)同時把共享內(nèi)存寫壞。6.3 根因tile 邊界的回卷寫覆蓋與同步缺失為什么 K1024 正常而 K1280 就出問題因為 1024 除以 32 得到 32 步循環(huán)干凈利落1280 除以 32 也是 40 步但某些 CTA 因為輸出 tile 在 M、N 方向靠邊剩余的 A 或 B 數(shù)據(jù)不足 32走了退化路徑這時候計算 K 塊尺寸的偏移量出現(xiàn)了偏差。這個偏差在地址計算上表現(xiàn)為回卷某個索引在本應(yīng)結(jié)束的地方繼續(xù)向后延伸覆蓋了相鄰緩沖區(qū)的數(shù)據(jù)。修復(fù)方案有兩步。第一步是讓每個 K 步都用實際剩余長度裁剪 TMA 描述符而不是盲信 K_BLOCK 常量第二步是給退化路徑單獨加一道 barrier確保最后一個未滿 K 塊在寫入 SMEM 后所有消費者 warp 都能看到完整數(shù)據(jù)才啟動 wgmma。6.4 同類隱患L2 hint、原子累加與分配器對齊這次排錯讓我意外收獲了一串同族隱患。第一個是 L2 緩存策略TMA 搬運時可以指定數(shù)據(jù)在 L2 中的偏好如果對輸出 tile 設(shè)置了錯誤的淘汰優(yōu)先級某些數(shù)據(jù)可能被過早逐出在后續(xù)重算時引發(fā)不一致。第二個是多個 CTA 對同一輸出區(qū)域的原子累加FP32 原子加不保證順序結(jié)果浮點誤差會在不同 run 間波動。第三個是共享內(nèi)存分配的對齊問題128 字節(jié)對齊和 4 字節(jié)對齊在 TMA 描述符眼里完全不同寫錯一個字段就可能導(dǎo)致跨邊界讀。疑似問題排查手段結(jié)論雙緩沖競爭切換單緩沖復(fù)測排除數(shù)據(jù)取值邏輯CPU 復(fù)算分組比對定位到特定 tileSMEM 越界內(nèi)存檢測工具掃描確認越界TMA 描述符邊界逐行檢查 K 剩余長度根因K 塊未裁剪如果你也遇到類似小矩陣沒問題、大矩陣偶發(fā)錯的 case我的建議是直接運行內(nèi)存檢測工具再配合單緩沖復(fù)測把手動同步的變量排除干凈。這類問題最怕一上來就猜是浮點誤差把方向帶偏。拿到確鑿的越界報告后再回頭檢查所有描述符、指針、步長參數(shù)往往比自己盯著代碼發(fā)呆更高效。最后再分享一個實際觀察GEMM 內(nèi)核的調(diào)試和調(diào)優(yōu)要分開對待。調(diào)優(yōu)階段可以大膽試各種 swizzle 和緩沖深度因為錯誤是好觀測的但一旦進入排錯階段先復(fù)算簡單路徑、再上檢測工具、最后才動代碼這個順序不要亂。跑大量邊界 shape 的矩陣乘法作為回歸用例比單點性能數(shù)據(jù)更值得長期維護——像 K 維不整除、N 方向剩余窄條這類隱蔽問題都是靠邊界用例抓出來的。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久草五月天| 五月婷婷综合性爱噜噜| 香港九九六区八区99| 久草热久草在线视频| www.狠狠| 老美AA片| 国产精品涩涩涩视频网站| 超碰AV在线| 99久视频| 大香蕉手机视频| 一起草av| 亚洲综合网激情五月天| 另类国产欧美视频| 五月婷视频| 夜夜操,天天撸| 五月亭亭六月天| 怡红院一二三| 激情九九这里只有精品| 五月丁香婷婷婷激情爱爱| 色婷婷A| 色婷婷在线播放| 丁香九月激情| www激情com| 成人永久免费视频在线观看| 国产精产国品一二三在观看| 亚洲国产精品VA在线看黑人| 色婷婷超碰| 色综合久久88色综合天天99| 亚洲成人免费在线| 婷婷最新地址| 成人综合网站| 天天摸天天做天天爱天天爽| 五月激情婷婷图片基地| 欧美性交一区二区三区| 亚州操操| 在线观看国产高清视频免费网站| 啪啪夜久久| 六月综和久久| 97碰碰视频在线观看| 色色色热| 99re视频在线播放| 综合色五月| 五月激情偷拍| 久热丁香| 丁香五月在线播放| 欧美六月| 色五月激情五月| 九日日夜夜69| 极品嫩草| VA婷婷| 国模淫穴色图| 成功精品影院| 久久多色| 六月激情婷婷| 99视频| 日韩视频女神99| 亚洲网站在线鸭子av| 六月丁香久久| 97色婷| 丁香五月天堂网AV| 久久这里有精品| 思思视频这里是精品| 色插综合网| 超碰京东热av男人的天堂| 丁香在线视频| 激情无码网| 97人妻碰碰碰久| 丁香五月色| 五月天婷婷无码| 狠狠色狠狠操| 99爱爱网| 婷婷中文字暮| 五月青青草综合| 久综合九| 婷婷日本色| 丁香五月伊人| 欧美大道不卡| 五月丁香久久激情网| 九洲一级A片| 国产AV影片| 超碰cap| 久久久久久久久久久97| 青青草搞屄视频网站| 热99只有里视频| 日日干日日s| 97超级操操| 午夜天堂一区人妻| 欧美25p| 亚洲第一精品网站| 丁香六月婷婷五月婷婷| 黄色AV日韩| 亚洲成人在线播放| 超碰在线免费观看日韩| av在线不卡播放| 先锋资源婷婷| 五月婷婷内射网| 一本色道久久88综合日韩精品| 婷婷五月天在线观看| 五月婷婷激清网| 人妻久久做| 99色日本| 婷婷五月婷婷| 婷婷香蕉| 色色色在线免费视频| 婷婷久久婷婷| 欧美在线视频9| 亚洲久久天堂| 极骚大香蕉伊人| 狠狠干婷婷| 色综合久久88色综合天天99| 九九热10| 操操自拍| 超碰人人91| 激情综合网五月激情| 九九精品在线观看视频6| 伊人婷婷大香蕉| www.seqingwuyuetian| 日韩综合久| 五月丁香六月激情网| 丁香五月激情无码视频| 亚洲狠狠狠色婷婷综合激情久久久| 色婷婷影视| 五月丁香婷草| 97香蕉久久超级碰碰高清版 | 九九热视频在线观看| 五月丁香啪| 啊V视频在线观看| 全高清无码视頻| 狠狠色五月| 九九热婷婷| 欧美激情五月天| 996精品热视频| 91九色欧美| 婷婷不卡基地| 九九色综合| 婷婷五月天天天| 综合色色色| 91综合视频丁香| 逼特逼在线免费播放| 久久久久人妻| 久久久GOGO无码啪啪艺术 | 婷婷五月天视频小说| www.91.com处女在线直播| 色 五月 天 婷婷 丁香 九月| 6080av| 风流少妇A片一区二区蜜桃| 日 日干 日日做| 桃色成人网| 丁香五月欧美色综合| 免费V片在线| 欧洲第一久色| 激情国产综合| 丁香网五月天激情| 丁香五月激情图片婷婷| 99热日本| 极品人妻VIDEOSSS人妻| 九九色网专区| 成人开心五月天| 成人色图情色成人网 www.5b5b5bcom 五月天 | 久久九九色| 欧洲色| 99激情| 亚洲激情综合| 五月停性愛| 激情综合五月丁香六月婷婷| 天天干天天操天天射 | 开心激情网五月| 婷婷开心激情五月激情网| 九九在线视频| 久久色情| 丁香五月中文字幕| 婷婷色色欧美| 五月天成人免费视频| 五月天俺去也| 五月丁香花视频| 激情99| 日韩乱轮AV| 亚洲色婷婷婷婷人人爽| 无码少妇高潮喷水A片免费| 九九色精品| 99在线观看视频| 大香蕉九九操| 色婷婷亚洲六月婷婷中文字幕| 在线观看视频1区| 成人网站免费sxj| 国产暴力强伦轩1区二区小说| 婷婷综合五月天| 五月色丁香| 婷丁香五月天| 婷婷五月丁香六月| 性韩日色婷婷五月天激情啪啪XXX| 婷婷操逼| 玖玖视频福利| 超碰不卡在线| 99啪啪| 欧美性爱五月天| 99综合色色色| 久久色情| 人妻久久久久久| 热久久77777| 丁香五月天激情综合| 操久久网| 九九这里只有精品在线视频| 夜夜撸日日骑| 婷婷五月亚洲综合| 色吧婷婷五月亚洲| 99操逼视频| 五月丁香婷婷五月色| 中文不卡一二区| 激情综合色婷婷啪啪六月天| 久久久久婷婷五月热综合| 色五月综合网| 六月婷婷开心| 97人妻人人| 中美日韩成人在线| 午夜一区| 就99这里只有精品| 久久这里只有精品视频15| 99久久久国产精品免费蜜乳tv| 久久婷综| 色久婷婷五月| 美国天天日天天操| 伊人五月天在线| 五月丁香亭亭操逼| 国产99热| 五月婷婷色丁香| 日韩艹比| 国产va视频| 精品99在线看| 久久女婷| 丁香五月区| 亚洲综合999| 超碰人人色| 婷婷激情丁香五月婷婷激情丁香五月婷婷| 国产性爱在线| 激情六月天婷婷| 在线视频婷婷| 五月丁香激情婷婷| 人人视频色| www.91色| 99热国产这里只有| 97性高潮久久久| 综合网啪| 淫荡家庭AV| 人妻少妇色综合| 任我肏视频精品| 亚洲中文丁香| 99热碰碰热| 五月天婷婷婷| 综合激情五月丁香9999久久精| www.狠狠| 五月婷护士| 热九九在线| 五月天激情久久| 91综合色| 欧美性生交XXXXX无码小说| 激情五月狠狠| 九九99免费视频| http:色情日本com| 久久婷婷五月丁香网| 99热久草| 成人国产欧美大片一区| 天天爽日日爽夜夜爽| 日韩三及成人AV片| 午夜丁香婷婷| 色婷婷狠狠干芒果TV| 色域五月婷婷丁香| Www.sesese丁香| 九月综合| 啪啪啪五月天| 亚洲天堂啪啪| 五月婷婷色在线| 天天天天天天操| 色婷婷五月天中文字幕| 丁香六月欧美| 婷婷操逼| 久久久免费图片视频| 五月丁香婷婷婷婷综合网| 五月天激情电影| 99干在线视频| 亚洲欧美成人在线| AV五月婷婷露脸| 丁香五月婷婷基地| 在线不卡的视频| 丁香五月香蕉| Blackedraw视频一区二区| 色色色在线观看| 夜夜骑天天玩天天日| 激情综合网五月在线播放| 成人va在线观看视频| 天堂无码人妻精品AV一区| 综合色激情| 九久9精品| 五月丁香影院| 婷婷五月天激情电影小说| 激情六月丁香综合| 色婷婷五月天激情综合| 美腿丝袜AV天堂网| 91碰碰碰| 国产精品A成V人在线播放| 超碰在线91| 婷婷五月天色| 疯狂做受XXXX高潮A片动画| 国产成人精品一区二三区熟女在线 | 激情五月天丁香| 欧洲毛片基地c区| 91视频一起草| 色噜噜婷婷| 99精品国产乱码久久久人妻| 人妻六月天| www.sebowuyue| 996热re视频精品视频| 天天色情站| 色五月激情网| 九热视频在线精品15| AAAA网站| 激情五月综合第一页| 人人摸人人澡人人| 丁香五月成人社区| 日韩色五月| 五月婷婷影| 久久婷婷五月综合| 国内9l视频自拍老熟女九色| 亚洲一色色色色色色色色| 日本一级一片免费视频| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 五月丁香久久综合| 丁香五月婷婷成人网| 五月伊人视频在线看| 97综合在线| 激情五月天色| 久久网思思| 五月婷在线视频免费播放| 另类婷婷丁香| 丁香六月亭亭久久综合| 五月婷婷中文字幕| 五月婷婷视频啪啪美女| 99视频这里只有免费精品| 日本wwww在线| 玖玖99婷婷| 欧洲色区| 丁香啪啪| 亚洲色就是色色色| 9 1大香蕉| 色色亚洲五月天| 第四色婷婷五月| 免费成人va| 超碰在线人人| 亚洲免费观看高清完整版AV线| 色色热日| 中文字幕人妻一区二区| 五月天色色无码| 99热最新| 青草五月天| 91热视频色网站| 99热这里只有精品3| 久久66精品| 丁香婷婷偷拍| 密臀久久| 五月婷婷色播网| 亚洲艹网| 久久五月六月| 九九免费精品在线视频| 五月丁香婷婷无码A∨| 成人丁香五月| 99热啪啪| 性韩日色婷婷五月天激情啪啪XXX| 美日韩成人| 97涩涩丁香五月天| 六月大香蕉| 丁香五月色五月| 久久一热| 五月天开心色情网| 婷婷开心青青草| 第四色激情网| 婷婷久久综合久| 久久久婷| 亚洲综合色棒| 色色色激情| 99精品视频在线观看| 99青青草| 色色五月婷| 97在线观看| 超碰1999| 五月激情啪啪啪| 可以免费观看的AV| 丁香五月天激情免费在线观看AV777| 丁香激情四射| 丁香五月婷婷激情97| 开心激情网五月| 五月停亭六月,六月停亭的英语| CHINESE熟女老女人HD视频| 狠狠五月天激情| 激情五月天色色| 色婷婷五月天成人网| 亚州第一A片| 月色色综合婷婷网| 99精品在线| 99久久9| 日本va欧美va欧美| 久9无码视频| 激情五月天小说网| 五月婷婷激情五月| 美女婷婷六月色| 开心五月天私房婷婷| 婷婷五月天播| 激情综合五月色在线| 色月视频| 这里只有精彩亚洲视频推荐| 天天做夜夜爽| 99久超碰| 色综合色| BBWCUCKOLD精品熟妇| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 婷婷干六月综合旧址| 久久99日本精品视频免费观看| 91怕怕网| 丁香五月开心亚洲| 亚洲天堂爱爱| 思思99热在线| 日本 @ va 免费| 婷婷综合六月| 97干综合网| 99热精品在线| 这里有精品| 国产AV一区二区三区日韩| JAPANRCEP老熟妇乱子伦视频| 在线看的免费网站| 大香人妻| 欧美精品999| 国庆精品久久| 丁香五月激情无码视频| 久9无码视频| 大香蕉AV在线| 在线成人va| 人妻久久久久久| 色色色图| 久久伊人五月天| 天天日天天插| 九九婷婷五月天| 久热婷婷在线视频| 婷婷久久综合| 热热久久精品视频| 五月丁香做爱视频| 日本三级黄色大片| 无遮挡国产高潮视频免费观看| 免费看成人AA片无码视频吃奶| 91丨九色丨老熟女激情| 成年人夜夜喷水| 激情五月天在线观看色婷婷| www超碰| 第四色大香蕉| 九九综合久久| 丁香婷婷综合激情五月色| 六月婷婷视频| 超碰99热精品在线| 久久久久久天天日天天爱| 婷婷综合| 66精品成人免费网站在线观看| 丁香狠狠色婷婷久久无码视频| 久久婷婷五月天激情唯美| 婷婷黄色网| 丁香五月天中文字幕| 国产精品色婷婷久久久精品| 激情婷婷网| 久操大| 玖玖九九9999在线观看视频精品| 啪精品| 欧美狠狠一在草| 另类小说激情五月天| 丁香五月成人| 91美女艹逼网站| 亚洲免费观看高清完整版AV线| 99色看这里只有精品| 亚洲最大视频| 精品一区二区三区免费毛片爱| 九九九九九九热| 久久91久久91色欲精品| 岛国资源网| h亚洲| 国产AV一区二区三区日韩| 99日精品视频| 五月婷婷开心色伊人| 天天爱天天操| 少妇真实被内射视频三四区| 91视频精品99| 亚洲激情精品| 天天干天干| 日韩野外 无套| 九九热内射| 国外亚洲成AV人片在线观看| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 狠狠色大香蕉| 亚洲va日| 热99一二三| 久久伊人婷婷| 五月激情开心婷婷| 黄桃AV无码免费一区二区三区 | 九九艹女| 狠狠色综合网站久久久久| 婷婷五月激情片| 热996精品在线观看| 五月天综合视频| 大伊久久| 日韩九区| 草久私拍| 99色色网| 91九色在线视频| 色婷婷五月影视| 99热国品| 色欲婷婷五月天| 欧美综合婷婷网| 香焦网五月天| 超碰碰碰碰| 综合久| 国产精品久久久久久久久久| 成人五月天综合网| 亚州精品成人片| 超碰猛烈的性猛交| 亚洲亚洲激情| 99久热这里只有精品| 日韩无码系列| 骚货艹网站视频| 天天插天天射| 久久精品婷婷| www.9797国产| 97碰操| 色色色色色色色色色999| 亚洲五月天激情| 91精品综合久久婷婷九色| www,五月天激情| 精品国产AV色一区二区深夜久久| 婷婷色五月激情| 99爱视频| 密视AV综合在线| 人妻操在线看| 中文成人在线| 激情网五夜婷婷| 日本久久综合| 成人网在线视频| 丁香五月婷中字幕| 四色五月婷婷| 99热这里有精品2| 秋霞免费视频| 婷婷六月丁香综合| 99热激情| 九九色影院| 六月丁香中文字幕| 黄久久久| 99爱视频免费| 99玖玖视频| 色五婷婷| 1024AV视频| 日本九九热| 青草青草视频2免费观看| 日日天天天| 色久天| 五月天综合久久| 99久精品视频| 日韩综合久| 色播五月| 东北黄色一级| 99热都是精品| 性爱人人网| 亚洲热热视频| 大香蕉娱乐| 精品久久久人妻| 五月婷婷精品视频| 五月丁香六月婷婷久久| 草久私拍| 久久综合五月| 九九热99精品| 天天干电影| 99久免费视频| 热久久这里只有精品| 久久一级片| 五月婷视频在线| 夜夜爱爱亚洲| 五月婷六月| 99精品久久久久久久久| 丁香狠狠色婷婷久久无码视频| 人人人操 超碰| 天天操天天爽天天爱| 蜜桃五月天| 亚洲综合五月天综合| 激情内射人妻1区2区3区| 99热日| 九九丁香社区欧美激情| 婷婷丁香五月天小说| 懂色av粉嫩av蜜臀av| 五月天欧美 另类小说| 久久精品国产精品| 伊人色欲五月天| 色婷婷亚洲综合网站| 五月丁香六月婷婷亚洲综合| 丁香色影院| 婷婷五月花| 五月天久久综合| 激情综合五月丁香| 色色网站免费在线视频| 人人摸人人干| 天天日婷婷| 黄色aa观看aaguochan| 久久538| 婷婷丁香花五月天| 婷婷五月天小说| 色婷婷4| 婷婷色五月大香蕉在线| 九九爱激情| 九热视频精品| 超碰av在线| 五月天六月丁香| 一本色道久久88加勒比| 午夜做爱影院| 婷婷综合在线播放| 五月激情婷婷丁香| 婷婷综合网在线| 91九色偷拍| 综合婷婷五月天| 另类激情五月| 五月激情天| 婷婷六月花| 97精品自拍视频| 五月丁香婷婷色| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 五月婷婷基地| 狠狠色婷婷丁香六月| 琪琪狠狠干| 五月婷婷六月丁香| 久久色五月天| 雪千夏麻豆| 久9免费视频| 久久色在线视频| 综合久久激情久久| 麻豆雪千夏| 99热乎| 9九九久久精品无码专区| 色婷婷六月| 26uuu国自产精品| 亚州在线中文字幕| 婷婷五月精品中文字幕| 日操| 91久久国产综合久久| 五月天色图| 五月天色五月天| 婷婷综合av| 79精品视频在线观看,| xxx日本东京热| 国产黄色一级片| AV在线资源| 五月色丁香婷婷中文字幕| 爱狠射| 亚洲婷婷免费| 婷婷综合六月| 97碰在线视频| www99精品日韩| 成人版视频在线观看| 欧美成人热| 国产色99| 色五月AV| 丁香婷婷十月| 九九久久99| 91九色PORNY大屁股| www.99久| 99爱精品视频| 99成人网一区| 色综合久久8| 色色丁香| 人人爱国产| 天天插天天玩天天干| 岛囯综合激情网| 99黄色性生活| 这里只有精品免费观看网占| 天天操天天日天天爱| 久久婷婷一级片| 色色色色色色色色综合网| 婷婷五月天BBw| 激情五月天在线观看婷婷| 日本久碰| 九九色热| 亚洲综合视频网| 色五月天在线| 欧美性二区| www亚洲无码| AV中文在线| 婷婷五月花| 米奇影视资源777狠狠色婷婷五月天激情网| 99资源在线视频| 日日夜夜狠狠| 激情爱爱网站超大免费| 五月天激情综合10p| 91人人网| 影院久久久| 免费看欧美成人A片无码| 婷婷 伊人 久久| 亚洲久久婷婷| 婷婷免费精品视频| 欧美色色日韩| 久久视频在线视频| 午夜成人网站在线观看| 色欲AV导航| 99热99网| 99视频九九热| 日本A片一区| 五月丁香六月婷| 亚洲婷婷激情综合激情999精品| xfplayav在线| 丁香激惜男女| 日良久久| 激情久久网 | 6月丁香婷婷激情| 日韩狠狠色| 天啪色| 东京热五月婷婷| 亚洲欧美成人在线| 中文字幕综合网| 精品久久艹| 狠狠va| 婷婷亚洲综合| 欧美日韩国产伦精品日韩人妻一| 欧美高潮9| 伊人在线视频| 成片免费观看视频大全| 午夜丁香婷婷| 五月婷婷综合久久| 婷婷欧美| 久草五月丁香婷婷综合| 97在线观视频免费观看| 久久五月丁香| 中文字幕在线日亚洲9| 五月丁香六月婷婷国产视频| 丁香婷婷伊人| 色色色视频| 97人妻碰碰碰久久香蕉| 老师把我爽高潮了免费A片| 狠狠干.com| 欧美大肥婆大肥BBBBB| 亚洲天天操| 久久停停超碰| 欧美日韩成人在线观看| 久久丁香五月| 色婷婷婷婷| 五月婷色激情五月| 欧美性爱5月天天天看| 婷婷激情六月综合| 任你草| 91操片| 久热91精品| 亚洲色夜| 九九干视频| 97操碰在线视频| 操人精品| 色九九九九| 欧美色碰| 操b视频在线观看一区二区| 婷婷在线视频| 亚洲精品字幕在线观看| 六月天婷婷| 欧美日韩成人| 中文字幕无码人妻少妇免费视频 | 91九色在线| 激情性爱五月天| 97操视频| 啪啪综合网| 国产激情久久久| 亚洲激情视频在线观看| 99视频久久| 婷婷丁香花五月天| 综合网啪啪| 伊人网大香| 婷婷六月色开| 日韩无码色色| 色综合网址| 91婷婷搞| 91久热| 五月婷婷,六月丁香| 婷婷刺激综合| 婷婷色情网| a在线观看| 久热超碰| 亚洲va日| 国产日批视频| 五月天激情Av| 五月婷网站| 99在线精品免费视频| 99精品视频免费观看| 99久久五月婷婷| 狠狠干综合网| 色婷五月| 五月婷婷啪啪| 国产XXXX搡XXXXX搡麻豆| 婷色影院| 大香蕉懂9| 综合久| 操操啪| 五月日韩中文字幕| 影音先锋五月天婷婷丁香在线观看| 玖玖色综合色| 无码动漫AV| 99大香蕉| 99re最新地址视频| 99久久成人| 日日日日操| 成人va视频| www.五月.com| 亚洲亚洲人成综合网络| 日韩AV无码影片| 99艹精品在线观看| 国产熟女大叫受不了| 亚洲1区| 色色是色N一| 婷婷开心激情综合五月天| 五月丁香中文字幕| 婷婷欧美综合| 天天狠天天叉| 久久国产一区二区三区| 99操网站| 色婷婷五月色| 青草性爱视频| 色丁香六月| 99狠狠色| 99色在线| 一区=区操屄高清大全av| 操日视频| 五月天婷婷影院| 婷婷五月丁香高清无码| 色婷婷丁香香香蕉视频| 99狠狠色| 天天综合色| 99在线看视频| 另类激情五月| 婷婷伊人激情婷婷| 人人妻久久妻| 六月婷婷综合| 无码少妇高潮喷水A片免费| WWW、日本色丁香、co m| AV在线免费播放| 婷婷五月天色综合翘| 五月天激情AV| 六月婷婷激情| 国自产拍偷拍精品啪啪一区二区| 免费视频1区| 色婷婷88| 日韩婷婷五月天| 成人视频在线免费播放| 婷婷成人五月天| av五月天婷婷丁香| 亚洲婷婷在线播放十月| www.激情五月天com| 99热热这里只精品996小说| 婷婷色色五月| 天天肏天天肏| 五月天国产成人| 色婷视频| 色欲丁香久久| 五月婷婷激情| 婷婷五月天成人网| 丁香色影院| 第2色五月婷| 桃色激情网| 九九久久综合| 91操黄| 成人短视频在线| 手机激情网| 大香蕉久艹| 狠狠色综合五月人人| 色婷婷五月影院| 色狠狠综合网| 色丁香五月天| 日本婷婷激情四射中文字幕在线观看| 五月丁香无码| 天天肏天天爽夜夜爽| 亚洲精品国产成人AV在线| 综合欧美五月婷婷| 久久婷婷热| 五月天影院| 天天干天干| 神马久久五月天| 天天操夜夜爽天天操| 亚洲成人人人操| 欧美日韩99| 丁香五月最新网址| 天天天天天操| 久久精典| 色吊操色妞| 人人操Av| 狼人婷婷久久| 亚洲av另类在线观看| 六月丁香啪| AV成人在线播放| 五月天丁香色色| 久久无码激情视频| 成人网址在线观看| 中字幕视频在线永久在线观看免费| 伊人久久婷| 天天射色五月天| 久久免费精彩视频| 亚洲av无码精品色午夜| 欧美韩日AAA网站| 婷婷午夜激情| 日日操夜夜操中国无码| 婷婷五月在线免费| 亚洲av骚货| 99噜噜噜在线播放| 91婷婷在线| 五月婷婷婷自由综合| 色香欲综合| 91九色中文| 五月婷婷免费视频| 97操操| 91狠狠色色丁香婷婷综合久久| 日操五月婷| 婷婷五月天激情四射| 色色五月丁香婷婷综合| 色亚洲中文| 九九青青草成人| www.色色com| 五月涩涩网| 人人操av| 五月丁香六月成人| 婷婷伊人网| 久久婷婷五月丁香蜜桃网| 婷婷综合另类小说| 婷婷99中文字幕| 激情电影五月婷婷| 在线色五月婷婷| 九九这里有精品| 国产三级片91| 日韩操| 极品人妻VIDEOSSS人妻| 色综天天综合| 网站免费一站二站| 婷婷激情五月天桃花网| 激情综合网,婷婷五月天| 欧洲色色| 在线看片av| 色婷婷丁香五月| 99内射视频| 激情五月天色色色| 狠狠色噜噜狠狠狠777奇米| 丁香激情五月天| 五月婷婷婷| 五月天狠狠网站| 人人色性网| 亭亭五月丁香综合欧美| 五月激情综合激情五月| 97婷婷丁香五月| 另类激情网| 九九热这里只有精品31| 久久九九视频| 亚洲色夜| 色五月天在线观看| 国产午夜精品一区二区三区四区| 久久无码成人| 97自拍99| 精品婷婷| 激情婷婷综合| www色综合| 五月丁香六月综合激情| 天天久久狠狠色综合| 久草热在线视频| 亚洲日韩一页精品发布| 国产精品成av人在线视午夜片| 婷婷激情四射五月天| 亚洲无码播放| 色五月开心五月激情五月| 五月婷亚洲精品| 色丁香久久| JAPANRCEP老熟妇乱子伦视频 | 大香蕉人妻| 欧美丰满熟妇BBB久久久| 五月丁香另类网| 婷婷五月激情的图片| 97碰碰在线观看视频| 婷婷九月激情| 激情五月丁香六月综合AVXXXX| 久久xxxx| 五月丁香WWW| 日本色色影片| 99热66| 综合婷婷| 色五月婷婷网| 婷婷五月深爱五月| 亚洲九九婷婷| 九九操操| 欧洲综合色| 五月停停999| 久久人妻视频| 超碰伊人碰婷婷五月| 色10月婷婷视频| 狠狠操性爱av| 日本99热| 色婷婷色综合| 性爱网久久| 天天操婷婷| 丁香六月婷婷| 亚洲热久| 婷婷丁香成人在线视频| 97色色综合| 亚洲日韩一页精品发布| 玖玖99精品视频| 六月丁香婷婷色综合| 女人天堂AV| 五月综合久久| 激情5月舔| 99熟女| 五月丁香综合激情网| 操一操干一干| Caoub青青超碰| 久久这里只有国产视频| 天天色天天操天天射| 狠狠色官网| 99精品网| 深爱激情网五月| 久久五月丁香| site:pzdcoin.com| 五月天伊人| 五月婷婷六月丁香免费| 91爱操| 人妻精品在线| 人人草开心五月天| 超碰99热在线观看| 这里只有精品视频一区| 午夜成人av在线| 婷婷五月天成人基地| 以及AA大片看看| 99亚洲大片精品永久在线观看| 狠狠爱深色婷婷综合| 色五月视频无码播放| 亚洲亚洲人成综合网络| 五月丁香啪啪激情| 五月丁香啪啪| 99re这里只有精品视频6| 六月丁香婷| 久久这里只有精品07| 精品一二三区久久AAA片| 亚洲色情免费网| 影音先锋女人AA鲁色资源| 亚洲色色图片| 99热这里只有精品9| 五月丁香六月婷婷亚洲天堂网站| 久草大| 日日骑夜夜撸| www.seqingwuyuetian| 五月激情婷婷国产精品久久久久久| www.91操| 国产AV国片偷人妻麻豆| 五月丁香六月婷婷姐| 五月天婷婷久久| 久久九久久| 九九大香蕉黄色影院| 日本狠狠爽| 丁香五月婷综合| 久久婷婷精品| 99热这里有精品24| 婷婷综合影院| 五月丁香影院| 丁香涩涩爱| 亚洲欧美综合7777色婷婷| 办公室少妇激情呻吟A片在线观看| 日日爱激情| 久久婷婷精品| 天天插操| 国产成人在线精品| www.婷婷五月天啪啪| 成人在线高清| 99无码视频| 婷婷五月18永久免费视频| 五月综合色| 亚洲AV久久久久久久久久久久久久久久| 五月丁香操婷逼| 五月丁香人人婷婷在线观看| 97视频.干com| 中文字幕无码AV| 日日噜噜夜夜狠狠久久丁香六月| 思思99re这里只有| 激情九月综合| 99九九这里有免费视频| 久草A片| 六月天丁婷婷| 一起草性爱不卡视频| 色99在线观看| 超碰在线中文字幕| 2015超碰| 色婷婷五月天| 99五月婷| 免费亚洲婷婷| 97干在线免费| 五月丁香综合在线| 丁香五月综合激情性爱| 日韩丁香涩| 婷婷综合五月天| 五月丁香AV在线| 婷婷99| 99免费偷拍视频| A片试看120分钟做受视频红杏 | 丁香五月婷婷啪啪| 五月丁香欧美在线| Xx色综合| www99精品亚| 最近中文字幕大全免费版在线| 六月丁香婷婷综合在线| 激情四射婷婷| 国产成人片| 色激情五月| 六月婷欧美| 亚洲热视频在线| 丁香五月激情澎湃一区| 日日操夜夜操无码免费| 欧美在线| 天天色亚洲| 久久99看免费| 九月丁香| 婷婷丁香成人五月天| 深夜男女福利刺激影院一区完整| 无码少妇高潮喷水A片免费| 婷婷草| 色八月婷婷| 丁香五月婷婷激情蜜桃| 丁香婷婷六月| 女人天堂 AV| 婷婷在线观看五月天在线视频| 操97在线观看| 色色色色色综合| 精品草原久久视频| 色婷婷五月天av在线| 蒲京久久无码视频| 99综合| 丁香五月婷婷影院| 九九视频这里只有精品在线播放| 狠狠色狠狠色综合日日91| 久久激情视频| 婷婷五月天在线一区| 99这里只有精品国产| 激情综合婷婷久久| 五月天激情四射| 色婷婷久久综合久色综| aaaaaa片| 五月丁香成年黄色| 99精品偷自拍| 庭庭久久内射| 亚洲激情五月丁香久久久久| 99re6在线视频精品免费| 色色网五月激情| 激情综合网激情五月天| 99热在线播放| 婷婷丁香五月天狠狠| 五月天另类图片区99| 大香蕉综合| 天天干天干| 婷婷国产日本欧美| 97久久久久| 免费在线观看av网站| 九九亚洲| 婷婷月综合| 久久超级碰碰| 色色色网站| 伊人五月成人| 五月婷婷中文字幕| 五月天婷婷综合| 精品亚洲VA网站| 久久综合爱| 综合色图婷婷| 九九热re99re6在线精品| 亚洲激情网站无码| 激情五月天情色| 色五月天电影| 99乱视频| 人人摸人人干| 久久全色| 天天射综合网天天插| 欧美在线视频99| 色色色婷婷五月| 激情开心五月天| 久久婷婷五月丁香蜜桃网| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 婷婷另类开心| 91黄色五月天视频| 日韩综合久久| 情情五月天色| 色五月欧美| 五月天大香蕉av| 大香蕉久久久| 欧美激情-区二区三区| 超碰超碰在线| 婷婷性爱五月天丁香网| 久大香蕉| 婷婷亚洲色| 中文字幕,综合,91| 亚洲字幕AV一区二区三区四区| 五月天综合久久| 丁香五月亚洲婷婷| 亚洲色9| 色99视| 美女久久婷婷| 激情五月综合| www,26uuu,c0m,色情| 天天色天天色天天色天天色天天色天天色 | 激情九月婷婷九月| 123草逼网| 天天天日天天天干| 香蕉久久国产AV一区二区| 97超碰99热99| 婷婷久久综合| 成人 视频免费观看网站| 毛片色五月| 成人色色综合| 久久综合爱| 综合超碰熟| 婷婷五月天久草在线| 深爱五月激情| 国产VA亚洲VA96| 丁香五月激情婷婷视频| 五月刺激丁香月综合| 狠狠色综合网| 天天插天天插天天插天天插| 久久思思99| 色优久久| 日韩在线观看亚洲| 天天干狠狠操| 色很很96| 色婷另类| 九九无毛| 丰满老熟妇BBBBB搡BBB| 国产成人综合网| 免费AV在线| 欧洲免费视频色| av在线超清中文| 99久在线观看| 激情婷| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 婷婷五月天综合网| 欧美激情五月天| 五月丁香六月婷婷综合网| 最近中文字幕大全免费版在线 | 五月丁香AV在线| 久久精典| 九月色婷婷婷| 亚洲狠狠爱婷婷| 超碰国产在线播放| av免费在线观看0| 黄色av高清| 久久艹网| www.刺激色网站www.| 蜜桃婷婷狠狠久久综合| 老师把我爽高潮了免费A片| 五月天婷婷涩涩| 性爱五月婷| 99热加勒比| 亚洲综合无码| 婷婷六月色开| 久99久视频| 婷婷激情肏屄网| 婷婷5月开心6月| 插插插色综合网| 色五月丁香六月婷婷| 久久99热这里只有精品 | www狠狠| 精品久久66| 色色五月天婷婷丁香| 色爱综合网| 欧美天天爽| 婷婷激情五月天亚洲综合| 天天做天天要天天爽| 99久久综合精品五月天| 99热这里只有精品最新网址|