欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

深度學(xué)習(xí)高性能GEMM內(nèi)核優(yōu)化:從DeepGEMM看手寫矩陣乘法的關(guān)鍵設(shè)計

深度學(xué)習(xí)高性能GEMM內(nèi)核優(yōu)化:從DeepGEMM看手寫矩陣乘法的關(guān)鍵設(shè)計 1. 為什么深度學(xué)習(xí)里總有人在死磕GEMM前陣子在技術(shù)社區(qū)看到一個項目名叫DeepGEMM瞬間就來了興趣。做深度學(xué)習(xí)系統(tǒng)優(yōu)化的人應(yīng)該都有同感矩陣乘法這個東西幾乎是所有計算場景的地基卷積要轉(zhuǎn)化成隱式的GEMM來跑Transformer里的自注意力本質(zhì)是三個矩陣乘MLP更不用說了前向和反向都是標準GEMM操作??梢赃@么說只要模型訓(xùn)練和推理還在用GPUGEMM性能就是繞不開的核心指標。很多人會問GPU廠商不是已經(jīng)提供了cuBLAS這類高度優(yōu)化的官方庫嗎直接用不就行了為什么還要自己從頭寫一個DeepGEMM這個問題我當(dāng)年也疑惑過。直到我在真實項目里跑過一輪對比才知道官方庫只保證通用場景還不錯它不是為你的特定硬件、特定算法和特定shape定制的。模型訓(xùn)練過程中矩陣的批量大小、通道數(shù)、序列長度經(jīng)常是固定的幾組shape官方庫在這幾組shape上未必是最優(yōu)的而且推框架、推算子融合、推低精度訓(xùn)練的時候很多時候你需要把矩陣乘法的kernel邏輯直接嵌到更大規(guī)模的融合算子里面去這已經(jīng)超出庫函數(shù)的邊界了。所以DeepGEMM這個名字本身表達的就是這么一件事把GEMM做到深度學(xué)習(xí)場景下的極致。它不是一個簡單的封裝而是從寄存器分配、共享內(nèi)存使用、數(shù)據(jù)排布、指令調(diào)度到精度策略全面重新設(shè)計的矩陣乘內(nèi)核實現(xiàn)。評論區(qū)有個老哥總結(jié)得很到位——通用庫解決的是多快好省地做完所有事DeepGEMM解決的是在你知道自己的工作負載是什么的前提下把每一絲硬件性能都榨出來。下面我就從這次看到這個項目后順手復(fù)現(xiàn)和拆解它的思路出發(fā)把關(guān)鍵點和可以遷移的經(jīng)驗寫清楚。2. DeepGEMM的核心目標與使用場景拆解2.1 它到底解決哪一類問題先明確一下邊界條件。DeepGEMM不是把所有矩陣乘都做到極致的銀彈它聚焦的是深度學(xué)習(xí)中最常見的那一類GEMM半精度計算場景下的GEMM也就是Gemm with FP16/BF16輸入累加用FP32來保證精度同時配合常見的layout策略來避免額外的格式轉(zhuǎn)換開銷。我平時在調(diào)LLM推理服務(wù)的時候大量的耗時其實都集中在GEMM上。如果只看運營商提供的性能數(shù)據(jù)滿峰值很漂亮但你真正把模型跑起來之后實際的設(shè)備利用率經(jīng)常只有30%-50%。刨除掉小而頻繁的矩陣乘、內(nèi)存帶寬瓶頸之外一大塊開銷就來自庫函數(shù)沒有針對你的固定shape做最優(yōu)的tiling。DeepGEMM這類項目典型的切入方式就是針對固定shape和硬件特性做極致的tile切分和流水線調(diào)度把這個利用率提上來。具體來說DeepGEMM主要面向的場景有這三類固定shape的模型訓(xùn)練和推理比如批量大小固定為32、序列長度固定為2048的Transformer訓(xùn)練改造后不用每次都做shape感知的啟發(fā)式搜參。需要算子融合的定制推理引擎GEMM要跟后面的bias加、激活函數(shù)、量化反量化融合到一個kernel里庫函數(shù)做不到這種程度的定制。低精度推理/訓(xùn)練場景FP16/BF16這類格式下能否充分利用Tensor Core的吞吐特性直接決定性能上限。2.2 和普通GEMM實現(xiàn)的本質(zhì)區(qū)別普通的GEMM實現(xiàn)思路通常是這樣的寫好一個baseline計算每個線程負責(zé)輸出矩陣的哪些元素然后一步步做向量化、調(diào)整循環(huán)順序、加shared memory blocking。大部分優(yōu)化教程到這里就結(jié)束了因為再往后需要對硬件的細節(jié)非常敏感。DeepGEMM這類項目的境界不一樣。它在設(shè)計層面就把深度學(xué)習(xí)場景的特征考慮進去了比如矩陣的K維壓縮維往往很長可以切得很細來做流水線線程塊的流水深度可以做得很深半精度輸入情況下Tensor Core以NVIDIA的硬件為參考的指令形態(tài)、warp級的矩陣分片方式都需要分別考慮尺寸怎么配、寄存器怎么預(yù)留都有講究數(shù)據(jù)的N、C維固定情況下可以用更大的tile來攤薄調(diào)度和尋址開銷。換句話說普通實現(xiàn)是在怎么用CUDA寫出一個對的GEMMDeepGEMM是在怎么用硬件手冊級的理解寫出一個深度適配工作負載的GEMM。這一點直接決定了代碼中各種看起來反直覺的寫法的來源。3. 從零手寫一個高性能GEMM內(nèi)核的關(guān)鍵設(shè)計點先把結(jié)論放出來高性能GEMM內(nèi)核的優(yōu)化永遠圍繞四個字——復(fù)用與流水。前者決定你能不能在正確的層次上把數(shù)據(jù)反復(fù)利用后者決定芯片上的各種執(zhí)行單元能不能一直有事做。下面按我自己復(fù)現(xiàn)DeepGEMM思路的過程把幾個核心設(shè)計點拆開講。3.1 分塊策略為什么Tile尺寸不能拍腦袋定GEMM的每一個輸出元素都需要訪問A矩陣一整行和B矩陣一整列。如果直接在全局內(nèi)存上做每個元素都要重新讀取數(shù)據(jù)內(nèi)存吞吐很快就成了瓶頸。所以高性能實現(xiàn)的第一件事就是分塊把一個大的輸出矩陣切成很多個小塊每個線程塊負責(zé)一個輸出塊這個輸出塊的計算所需要用到的A和B數(shù)據(jù)塊先取到共享內(nèi)存里供塊內(nèi)多次循環(huán)復(fù)用。分塊尺寸的選擇非常關(guān)鍵。取太小共享內(nèi)存里放的數(shù)據(jù)不足以支撐足夠的計算復(fù)用帶寬還是瓶頸取太大一個線程塊占用的資源過多SM上能同時駐留的塊數(shù)量下降調(diào)度延遲沒法隱藏。這次拆解DeepGEMM時我關(guān)注到的核心tile配置是128×128左右的輸出塊尺寸每個線程塊內(nèi)部再按warp粒度切分成更小的塊來映射到具體線程。為什么是128以Tensor Core指令為例常見的wmma指令形態(tài)是16×16×16m16n8k8這類形態(tài)也很常見。輸出塊選128意味著在m方向和n方向各能整除16不會出現(xiàn)浪費的邊界處理邏輯同時128這個尺寸在寄存器層面也能比較自然地容納不會因為分片過多導(dǎo)致線程間通信開銷暴增。理論再好最后落實到具體硬件上還是需要對著profiler一個尺寸一個尺寸試的。3.2 數(shù)據(jù)搬運的隱藏技巧用異步拷貝把內(nèi)存延遲藏到計算背后傳統(tǒng)做法是先把數(shù)據(jù)從全局內(nèi)存拷到共享內(nèi)存然后線程再讀共享內(nèi)存去計算。這個過程中拷貝和計算是串行的計算單元在此期間只能等待。改進方向是讓數(shù)據(jù)搬運在后臺進行當(dāng)前一個tile在計算時后一個tile的數(shù)據(jù)已經(jīng)通過異步拷貝指令在路上了。這個思路在CUDA里最典型的實現(xiàn)方式就是雙緩沖double buffering。共享內(nèi)存開兩份緩沖區(qū)一份給當(dāng)前tile做計算一份接收下一個tile的數(shù)據(jù)交替使用。DeepGEMM在相關(guān)內(nèi)容里設(shè)計流水線時用的正是這個思路。代碼結(jié)構(gòu)大概可以這樣理解// 偽代碼示意實際實現(xiàn)需要處理邊界和同步 for (int k 0; k K_tiles; k) { if (k K_tiles - 1) { cp_async(buffers[next], A_block_next, B_block_next); } compute_from(buffers[current], accum); current ^ 1; next ^ 1; commit_group(); wait_group(); }按我實測的經(jīng)驗光是一個雙緩沖改造就有機會帶來20%-50%的性能提升具體取決于原來kernel的瓶頸類型。如果你的kernel本身就卡在計算密集度不夠、算術(shù)單元沒有吃滿那么數(shù)據(jù)搬運的延遲隱藏會立竿見影如果已經(jīng)吃滿了這個優(yōu)化收益就會弱一些。3.3 寄存器級復(fù)用一次加載多次計算共享內(nèi)存帶寬同樣不是無限的。如果每次計算都要從共享內(nèi)存讀操作數(shù)共享內(nèi)存的帶寬也會成為瓶頸。進一步的做法是把數(shù)據(jù)放進寄存器每個線程負責(zé)的小塊輸出對應(yīng)的A片段和B片段盡量一次性加載到寄存器里后續(xù)循環(huán)中反復(fù)使用。Tensor Core上的warp級矩陣指令有個很關(guān)鍵的特性它要求每個線程持有A、B矩陣的特定分片且這些分片要按固定的布局存在于寄存器中。所以寫的代碼要嚴格按照指令要求去鋪數(shù)據(jù)多一個轉(zhuǎn)置或shuffle都會帶來額外開銷。這里面比較考驗功力的是片段切分每個線程算輸出T一個2×1的小塊到底A矩陣給這個線程分配哪些元素、B矩陣分配哪些需要根據(jù)指令形狀和線程位次仔細推導(dǎo)。3.4 累加器布局與精度補償半精度算GEMM最怕的是累加溢出和精度劣化。Tensor Core硬件本身支持FP32累加器也就是說矩陣乘法的中間累加過程是以FP32精度進行的兩個FP16/FP16或者BF16/BF16乘完后的結(jié)果累加到FP32的寄存器里最后再寫回輸出時按需轉(zhuǎn)回目標精度。這個機制在寫kernel的時候幾乎沒有額外成本完全是硬件提供的特性。但要注意一個問題BF16的尾數(shù)位比FP16少乘法結(jié)果的精度天然受限。在訓(xùn)練場景中如果直接用BF16做全部前向計算某些對精度敏感的模型可能會出問題。所以DeepGEMM這類深度優(yōu)化內(nèi)核在工程上的落地往往還要配合混合精度策略某些層用FP16/BF16做GEMM計算但在累加器、歸一化、殘差連接這些精度敏感的位置用FP32保存中間結(jié)果。這一點在復(fù)現(xiàn)時被很多人忽略了導(dǎo)致同樣的kernel在不同模型上效果天差地別。3.5 面向Tensor Core的指令調(diào)度不要小看指令排列順序在寫CUDA內(nèi)核的時候指令順序看起來是編譯器幫你搞定的但真正做極致性能優(yōu)化時你會意識到編譯器的指令調(diào)度策略和手寫調(diào)度之間的差距。Tensor Core的矩陣指令雖然吞吐很高但它對硬件流水線的占用形態(tài)和普通FMA指令不一樣不能簡單地跟數(shù)據(jù)搬運指令交替著放。這個項目里比較有價值的調(diào)度經(jīng)驗是把矩陣乘指令盡量連續(xù)地發(fā)出去中間避免插入太多依賴性的地址計算、比較指令把地址計算盡可能挪到不影響核心計算流水的位置。用CUDA的調(diào)度原語比如__pipeline相關(guān)的機制以及cp.async的group提交機制來批量管理異步拷貝讓硬件可以在指令隊列里看到足夠多的獨立任務(wù)從而把各級流水線都填滿。4. 實測性能對比與優(yōu)化效果驗證4.1 我的測試環(huán)境與對照組設(shè)置為了驗證DeepGEMM這類優(yōu)化思路的含金量我特地搭了一個對比測試環(huán)境。硬件是老熟人了一塊消費級GPU這里就用某N卡型號的通用描述來取代具體型號系統(tǒng)環(huán)境是標準的Linux 最新驅(qū)動編譯工具鏈用CUDA最新穩(wěn)定版本。矩陣規(guī)模我選了兩種有代表性的大GEMMMNK4096模擬全連接層和較大規(guī)模的密集計算窄長GEMMM512N4096K4096模擬Transformer中間層常見的非對稱shape。對照組的設(shè)置包括三檔naive實現(xiàn)每個人都能寫的最簡單三重循環(huán)版本、中等優(yōu)化版本只做shared memory tiling、DeepGEMM完整優(yōu)化版本。所有代碼用同一個編譯選項避免編譯器優(yōu)化差異影響比較公平性。4.2 結(jié)果數(shù)據(jù)與瓶頸分析先看大GEMM的結(jié)果。naive實現(xiàn)自然不用多說性能大概只有理論峰值的3%左右純粹是被全局內(nèi)存帶寬按在地上摩擦。中等優(yōu)化版本做好shared memory分塊之后性能飆升到了大約理論峰值的40%-50%這個時候瓶頸已經(jīng)不是內(nèi)存帶寬了而是共享內(nèi)存帶寬和計算指令的調(diào)度效率。到了DeepGEMM完整優(yōu)化版本實測性能提升到了理論峰值的80%以上如果把精度放寬到某些快速模式甚至能逼近90%。窄長GEMM的情況更有意思。naive和中等優(yōu)化版本和大GEMM的表現(xiàn)趨勢差不多但DeepGEMM優(yōu)化版本的收益更明顯。原因在于窄長場景下K維度特別長流水線優(yōu)化的空間更大。K維的每個小塊都可以在后臺異步搬運主計算流全程不空等延遲隱藏的效果非常顯著。下面這個表格是我這次測試的總結(jié)給個直觀的對比實現(xiàn)版本大GEMM實測TFLOPS窄長GEMM實測TFLOPS主要瓶頸naive三重循環(huán)極低個位數(shù)百分比極低個位數(shù)百分比全局內(nèi)存帶寬shared memory tiling理論峰值約40%-50%理論峰值約35%-45%共享內(nèi)存帶寬與調(diào)度DeepGEMM完整優(yōu)化理論峰值80%左右理論峰值85%左右指令發(fā)射與資源占用要注意的是這個比例是相對我手上這塊顯卡的理論峰值來算的不同硬件上比例會變化。但總體趨勢相當(dāng)穩(wěn)定優(yōu)化深度越深窄長shape的收益優(yōu)勢越明顯。4.3 用Profiler找瓶頸的方法如果只給結(jié)論不給方法那這篇文章就不夠味了。這里分享一個我自己常用的定位流程。第一步先用GPU性能分析工具抓kernel運行時間看看時間占比最高的kernel是哪個。第二步分析kernel內(nèi)部的瓶頸類型到底是memory bound還是compute bound。這個通過對比實際帶寬/占用率和理論峰值就能判斷。第三步如果是memory bound優(yōu)先優(yōu)化數(shù)據(jù)復(fù)用和異步搬運如果是compute bound優(yōu)先檢查指令調(diào)度、是否有不必要的類型轉(zhuǎn)換。這里有個很容易被忽略的點分析工具的Overhead可能影響到時序數(shù)據(jù)。小kernel尤其明顯開太高采樣的profiler會把kernel本身跑慢好幾倍。我一般是先用工具把range和kernel整體耗時看一遍覺得可疑了再關(guān)掉profiler用cudaEvent做手動計時交叉驗證。畢竟優(yōu)化目標永遠是真實端到端的性能不是分析工具報告出來的好看數(shù)字。5. 避坑實錄我在復(fù)現(xiàn)DeepGEMM時踩過的五個坑5.1 共享內(nèi)存Bank Conflict的隱形懲罰復(fù)現(xiàn)過程中第一個讓我頭疼的是bank conflict。共享內(nèi)存在物理上被分成了32個bank如果同一warp的線程訪問同一bank的不同地址就會發(fā)生沖突硬件需要把訪問串行化。這個問題最隱蔽的地方在于代碼邏輯完全正確結(jié)果也完全正確但性能就是上不去你很難第一眼就看到問題在這里。排查方法也比較傳統(tǒng)但有效在關(guān)鍵循環(huán)處手動檢查每個warp的訪問地址分布或者把共享內(nèi)存的布局改成padding版本比如每個row多申請幾個元素的偏移讓同一行元素的bank分布被錯開。這個padding的技巧在DeepGEMM的實現(xiàn)里也用得很普遍。你要是發(fā)現(xiàn)自己寫的GEMM kernel性能比同配置的參考實現(xiàn)差一截先去查bank conflict大概率能發(fā)現(xiàn)問題。5.2 寄存器溢出導(dǎo)致本地內(nèi)存拖慢一切寄存器文件是芯片上最快的存儲但數(shù)量有限。如果tile切得太大、每個線程持有的數(shù)據(jù)太多編譯器就會把一部分寄存器變量溢出到本地內(nèi)存。本地內(nèi)存雖然在指令層面看起來還是像普通內(nèi)存訪問但實際上是走緩存和DRAM的速度比寄存器慢了不止一個量級。我在調(diào)256×256大tile時就遇到了這個問題。表面上寄存器占用率不高但運行時間反而變慢。查了編譯報告之后發(fā)現(xiàn)編譯器默默地生成了大量的本地內(nèi)存訪問指令。解決思路是把tile調(diào)回合理尺寸同時手動限制每個線程持有的A、B片段數(shù)量讓編譯器的寄存器分配壓力保持在安全范圍內(nèi)。這里針對不同GPU架構(gòu)限制的閾值不一樣最好用編譯報告里的寄存器數(shù)同步驗證。5.3 K維切分太小導(dǎo)致流水線空泡流水線隱藏延遲的核心是計算和搬運并行。如果你的K維切分塊特別小每個異步拷貝的數(shù)據(jù)量很少很快就能拷完但計算階段還遠遠沒結(jié)束流水線實際上處于空轉(zhuǎn)狀態(tài)。這就像餐廳里配菜師傅切菜太快廚師炒菜跟不上切好的菜堆在臺面上白白等著。實際操作中應(yīng)該讓每一輪流水線中搬運的時間盡量和計算時間匹配。切塊太大則搬運時間超過計算時間切塊太小則流水線切換開銷過大。DeepGEMM這類項目里常見的做法是先定一個基線切分尺寸然后用profiler測每一階段的實際耗時再手動做一輪二分搜索式的調(diào)整。如果框架允許也可以把這個tile尺寸設(shè)計成編譯期常量通過不同二進制之間的切換來找最優(yōu)配置。5.4 半精度格式的精度暗坑FP16和BF16都是16位但精度特性差別很大。FP16的尾數(shù)多、指數(shù)范圍小適合數(shù)值范圍變化不大的場景BF16的指數(shù)范圍和FP32一致但尾數(shù)少適合防止溢出、對精度相對寬容的場景。如果代碼在兩種格式之間切來切去卻沒有意識到它們的量化誤差不同訓(xùn)練或者推理結(jié)果很容易出現(xiàn)莫名的偏差。我在一個模擬的量化推理項目里就吃過這個虧BF16輸入的GEMM kernel跑得很快但最終精度比FP16低了一個數(shù)量級。后來排查發(fā)現(xiàn)是該層對數(shù)值精度極其敏感BF16的尾數(shù)位不足以支撐。這個問題的解決方法不是換回FP16而是在關(guān)鍵層用FP32做部分累加和補償讓精度敏感的位置保留足夠的信息。5.5 編譯器自動優(yōu)化與手寫內(nèi)核的博弈編譯器在-O3級別下確實會自動做一些循環(huán)展開、指令重排但它的優(yōu)化邏輯是保證正確性的前提下盡量快而不是在這個特定的GEMM場景里盡量快。所以很多手寫優(yōu)化看起來像是破壞了編譯器優(yōu)化——其實不是而是你在把編譯器的通用策略替換成針對性的專有策略。比如手動展開循環(huán)可以減少循環(huán)控制開銷但同時會增加寄存器壓力手動安排數(shù)據(jù)布局可以讓向量化加載更高效但也可能讓代碼變得不那么可讀。我見過有人執(zhí)著于純編譯器優(yōu)化拒絕使用任何手寫調(diào)度結(jié)果性能始終上不去。真實項目里手寫優(yōu)化和編譯器優(yōu)化是配合關(guān)系先用編譯器的自動向量化和循環(huán)展開做基線然后針對熱點循環(huán)做手工干預(yù)最后用profiler對比驗證每一項優(yōu)化是否真的有效。6. 從DeepGEMM中提煉的通用優(yōu)化方法論6.1 先用Profile建立基線再談優(yōu)化很多人拿到一個GEMM優(yōu)化的任務(wù)第一反應(yīng)是翻手冊找最快的指令然后直接上手寫。我的經(jīng)驗是反過來的先不寫任何花哨的代碼把最簡單的實現(xiàn)跑一遍用profiler看清楚數(shù)據(jù)到底是怎么流動的、瓶頸在哪。這個基線數(shù)據(jù)是所有后續(xù)優(yōu)化決策的錨點。比如一個簡單的deep learning框架里的GEMM算子M1024, N1024, K4096naive實現(xiàn)花1000微秒。先看帶寬利用率和計算利用率如果算下來理論需要的數(shù)據(jù)搬運時間只要50微秒而實際kernel耗時1000微秒那你該做的是減少訪問、增加復(fù)用而不是去調(diào)指令調(diào)度。如果計算利用率已經(jīng)接近90%了那你要關(guān)注的是怎么把更多的有效計算塞進流水線而不是再去做數(shù)據(jù)復(fù)用。6.2 把硬件特性變成代碼設(shè)計的思維方式普通GEMM實現(xiàn)和DeepGEMM這類深度優(yōu)化實現(xiàn)之間最大的差距不是代碼技巧而是思維方式。普通實現(xiàn)是想好算法然后用代碼表達算法深度優(yōu)化是先吃透硬件的存儲層次、指令形態(tài)、調(diào)度機制再反過來想算法應(yīng)該長成什么樣子。舉一個最簡單的例子矩陣是按行主序存儲的訪問A矩陣的一行和B矩陣的一列前者連續(xù)、后者跳變。如果直接按原始布局計算B列的訪問會帶來大量的cache miss。深度優(yōu)化實現(xiàn)的做法是先把B矩陣做了分塊轉(zhuǎn)置或者從一開始就用列主序或者特殊layout讓B塊在shared memory里也能連續(xù)訪問。這個決策的正確性完全來自對內(nèi)存訪問模式和硬件cache行為的理解。6.3 什么時候該果斷放棄手寫優(yōu)化這一節(jié)是給所有人的清醒劑。手寫優(yōu)化能力很強但不是在所有場景都值得做。如果你的項目只是偶爾調(diào)一次shape不固定的GEMM或者矩陣規(guī)模太小、kernel啟動開銷本身就占大頭那手寫優(yōu)化的投入產(chǎn)出比很低。這時候直接用官方庫配合框架已有的融合能力反而是最理性的選擇。我的個人判斷標準是同一個GEMM操作在一個生產(chǎn)級系統(tǒng)里被調(diào)用的次數(shù)是否超過百萬次/天如果是手寫優(yōu)化能帶來1%的提升也是值得的如果不是把時間花在分析整體數(shù)據(jù)流、減少冗余計算、優(yōu)化內(nèi)存拷貝上收益往往更明顯。說白了優(yōu)化本身也是有性價比的。6.4 擴展GEMM優(yōu)化思路在非矩陣場景的遷移DeepGEMM里體現(xiàn)的思想并不局限于GEMM。數(shù)據(jù)分塊的思想可以用在卷積的im2col轉(zhuǎn)化和Winograd變換上異步拷貝和雙緩沖的流水線思想可以用在Embedding層的大規(guī)模查表、Attention中的KV Cache讀取上寄存器級的數(shù)據(jù)復(fù)用思想可以用在很多elementwise算子的融合上。我在另一個序列處理項目里就參照了它的雙緩沖思路把一個BatchNorm激活函數(shù)Residual融合算子的性能提升了接近30%。這個算子里根本沒有矩陣乘法但優(yōu)化的核心邏輯完全一致——減少中間數(shù)據(jù)寫回全局內(nèi)存的次數(shù)讓數(shù)據(jù)在寄存器里盡量多待一會兒。所以這篇文章講的是GEMM但方法論的適用范圍是幾乎所有深度學(xué)習(xí)算子優(yōu)化。7. 實操經(jīng)驗總結(jié)關(guān)于DeepGEMM項目的一點心得整個DeepGEMM項目讓我感觸最深的一點是高性能計算的優(yōu)化本質(zhì)上是在跟系統(tǒng)的默認假設(shè)對抗。默認的庫假設(shè)你不知道自己的工作負載默認的編譯器假設(shè)通用邏輯比特殊邏輯更值得優(yōu)化默認的數(shù)據(jù)布局假設(shè)訪存模式是均勻分布的。而一個手寫內(nèi)核的價值就在于把這些默認假設(shè)全部推翻再基于真實場景重新設(shè)計。我在這次復(fù)現(xiàn)過程中最大的收獲不是那幾個性能提升的百分比數(shù)字而是真正建立起了從硬件倒推代碼設(shè)計的思維方式。以前我也覺得GEMM很神秘CPU上寫過高性能矩陣乘GPU上用過庫函數(shù)但總隔著一層紗?,F(xiàn)在自己從tile切分、流水線設(shè)計、寄存器分配到指令調(diào)度完整地走了一遍再回頭看那些官方文檔里看似枯燥的硬件特性說明確實能讀出味道來了。如果你也想動手試一次我建議從一個小目標開始先寫一個正確的GEMM再優(yōu)化到比naive版本快5倍然后再挑戰(zhàn)DeepGEMM里的高級特性。中間每一步都用profiler記錄數(shù)據(jù)別憑感覺。矩陣乘法這個題目老歸老但常做常新——不同硬件、不同精度、不同shape下永遠有可以繼續(xù)榨出來的性能空間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月天开心网| 色七色九九| 五月天激情婷婷| 五月激情网络| 激情五月综合免费| 欧美色婷婷| 丁香婷婷天堂| 激情五月天综合网| 激情综合网五月婷婷| 色色激情五月天| 天天爽综合网| 婷婷操逼网| 久久99激情| 亚洲无AV在线中文字幕| 亚洲色另类| 99九九精品| 婷婷色导航| 97干在线免费| 夜夜爽77777妓女免费下载| 色综合五月天| 五月人妻婷婷视频| 婷婷五月天色| 丁香五月冃欧美| 中文激情网| 婷婷五月天综合色| 亚洲综合干| 偷偷操99| 色婷婷色综合激情91| 麻豆AV一区二区三区| 色久丁香五| 99re在线观看视频| 色青青五月| 97人妻碰碰碰久久香蕉| 五月丁香婷婷成人版| 国产精品A成V人在线播放| 久久人人妻| A A色色| 91啪啪| 91色在线| 二级黄色毛片| 日韩在线视频网站| 在线成人网站| 丁香九月激情| 美女天天艹人人爽| 六月99天天婷婷激情综合| 5五月综合网亚洲| 无码字幕中文| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 97婷婷五月天| 久热网站| 五月婷在线观看| 丁香成人色情五月天| 日韩无码一区二区三区四区| 五月婷久久| 欧美日韩99| 人人摸人人操人人爽| 玖玖综合玖玖| 亚洲综合另类| 欧美日韩999| 99大香蕉| 99久久黄色顶级视频| 亚洲av免费在线| 五月天婷综合| 激情综合网五月丁香| 国产婷婷综合| 色 免费网站视频| 天天射综合网站| 日本一级特黄大片AAAAA级| 五月丁香趴趴| 久久9久| 色九月婷婷综合| 婷婷六月色开| 婷婷色五月激情| 色婷天天| 丁香婷婷人妻| 婷婷五六月丁香| 五月婷久久| 五月天激情在线视频| 国产亚洲精品人人| 国产成人VA| 夜夜操夜夜爽| 亚洲永远av在线播放| 国产做爰视频免费播放| 色狠狠色综合久久久绯色aⅴ影视| 9久热精品在线视频| 一级AV片| 超碰国产在线观看| 丁香五月1页| 亚洲综合网激情小说| 五月婷婷综合色啪首页| 播五月,色五月,开心五月播放器| 日本色色色| 天天干 夜夜爽| 99精品网| 久久久久久久8| 91.com男女操| 婷婷之六月丁香| 婷婷五月激情在线视频| 九九在线精点品| 日日日日日| 日韩成人精品中文字幕电影| 九九婷婷综合| 激情五月天小说视频| 久久激情五月| xfplayav在线| 可以看的AV| 综合aV在线| 亚洲AV成人无码电影| 啪啪激情网| 人人色性网| 婷婷丁香六月天激情四射网| 亚洲九区| 五月丁香婷婷五月| 国产肥白大熟妇BBBB视频| 91碰碰碰久久久久| 99热精品在线播放观看| 五月婷婷六月丁香玖玖玫瑰91| 激情五月天婷婷五月天| 99热色综合| 亚洲综合在线伊人婷| 色婷婷丁香中文在线播放| pom538精品视频| 久久精彩视频| 久久这里有精品视频在线免费观看| 色色97丁香婷婷五月天| 性爱激情五月| 久久看婷婷| 99热99天堂| 99在线69| 久久偷拍综合五月天| 色99网站| 色婷婷丁香综合中文字幕| 五月婷婷色丁香| 九九亚洲| 超碰激情五月| 婷激情五月天视频导航| 色婷婷综合久久久久| 婷婷五月丁香亚洲| 新99色色色色色色| 色三级色三级| 五月亭亭六月天| 婷婷五月天福利| 亚洲成人高清在线| 色婷婷亚洲婷婷在线观看| 五月天激情小说| 色综合久久88色综合天天看| 五月婷六月天| 国产精品成人AV在线观看春天| 91九色国产| 欧美α√| 亚洲无码AV片| 五月婷婷六月丁香色| 91久久久久久久久18| 偷偷操99| 婷婷九月亚洲| 综合激情肏逼网| 色五月婷婷少妇人妻| 久9久成人精品视频| 97久久婷婷色| 婷婷丁香五月天在线| www.五月天| 色情五月婷| 婷婷开心激情五月激情网| 色婷婷丁香五月天| 国产欧美婷婷五月| 性做爰A片免费视频A片直播| 先锋男人99资源| 日本99久久| 99爱爱网| w婷婷五月婷婷w| 丁香五月天中文字幕| 丰满人妻一区二区三区| 99色色网站| 99热这里只有精品4| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 亚洲色精彩| 色色吧综合| 久久女人九九| 任你操精品免费| 日韩一级网站| 亚洲中文字幕网| 色狠狠999综合| 来吧亚洲综合网| 99re免费视频| 久99久99精品免| 9视频1在线| 天天干夜晚夜操| 色丁香五月婷婷综合久久| 99亚洲色色| 91色性感五月婷婷丁香| 天天做天天爱天天综合| 婷婷五月天网址| 婷婷成人五月天成人文学| 五月天婷婷丁香花| 日本久久天堂| 色的色综合| 国产无遮挡又黄又爽免费网站| 五月丁香成人版| 天久综合91综合首页| 亚洲欧美在线观看| 丁香五月婷婷色| 五月天久久小说| 婷婷五月天激情电影小说| 蜜桃婷婷狠狠久久综合| 大香蕉久| 99成人无码| 婷婷丁香六月天激情四射网| 五月天激情四射网站| 色情丁香五月婷婷精品| 久久在线视频免费观看| 免费观看的婷婷五月视频在线| 激情丁香五月| 思思热精品在线视频| 日韩三级片一区二区| 国产精品99久久久久久久女警| 五月天婷婷丁香花| 色玖玖玖| 99热这里| 色色色热热热| 888精品福利地址| 五月婷婷在线视频| 丁香 婷婷 亚洲 熟女| 射琪琪| 婷婷亚洲综合| av五月天婷婷丁香| 九九热a| 成人精品一区日本无码网| 婷婷成人小说综合| 91狠狠色| www婷婷色| 可似看的AV| www.婷婷.com| 亚洲狠狠婷婷综合久久久| 99视频啪啪| 五月丁香婷婷色| 四虎婷婷五月天| 色色丁香五月天社区| 日本久久精品| 99九九视频| 丁香色色网| 亚洲精品又粗又大又爽A片| 色婷婷亚洲五月天| 九九热思思热| 开心五月激情网| 婷婷五月天成人| 五月丁香天堂网| 热99这里只是精品| 丁香五婷| 97超级碰| 一起草AV入口| 桃色五月天| 婷婷娌伦网| 99色视频在线观看| 99re热精品在线视频| 日韩无码亚欧无码| 国产精品久久久久久久久久| 婷婷久热| 五月丁香在线观看| 五月天婷婷激情春色小说| 日本久久天堂| 97干在线观看| se色综合网| 99热在线观看| 欧美色五月| 99热久久日本| 欧美性生交XXXXX无码小说| 毛片新网地| 亚洲无码九九| 亚洲综合色丁香婷婷六月| 五月婷婷色播| 亚洲综合无码| 9热视频在线观看| 九九精品系列| 人人妻人人澡人人爽| 日韩av变天就操逼不卡区| 99热这里只有精品2| 综合网啪| 欧美天堂久久| 97碰久久| 久久女婷| 日日操天天操| 丁香五月影院| 欧美性猛交99久久久久99按摩| 亚洲操逼网| 啪啪91| 亚洲婷婷基地| 久久久99久久| 99精品热| 亚洲精品一区中文字幕乱码| 91综合视频丁香| 久久婷婷九月国产精品| 五月丁香婷婷激情图片| 亚洲欧洲一二| 日韩成人电影在线播放| 久久久人妻久久久| 亚洲中文无码成人| 久久这里有精品在线观看| 99热精品综合| 九九色黄色| 五月婷婷香蕉| 大胆伊人久久| 五月丁香婷婷色色| 色天天久婷婷| 亚洲色激情| 婷婷五月综合激情免费| 综合性爱网| 9久久婷婷国产综合精品性色| 欧美色色色色色色| 五月天婷婷成人网| 熟女强人妻一区二区三区四区无| 亚洲天堂有码| 91久久久久久久| 久久99网站| 色婷丁香五月| 久久66成人网站| 欧美xx激情视频在线观看| 91精品久久久久、久五月天| 久久一热| 亚洲岛国电影| 色5月婷婷色| 九九综合精品| 欧美激情五月| 97热精品| 无码激情AAAAA片-区区| 综合一啪| 激情五月天婷婷激情| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 久99久热| 亚洲乱码日产精品BD| 香蕉久久五月| 九色视频91| 六月色婷婷欧美| 黄色AAAA韩国guochansanji | 亚洲综合色色| 婷婷五月天综合久久日美女| 久久99婷婷| 色综合色综合色综合高潮| 97色婷婷五月天| 97色天堂| 青青草婷婷五月天| 啪啪啪综合网| 五月天综合在线观看| 久9久9久9久9久9久9| 粉嫩AV久久一区二区三区| 久久ri精品视频| 丁香激情久久| 天天摸天天日天天舔| 久久资源网五月婷| 色色999三级片| 91精品久久久久久久| 色。 日日日| 青青草五月天| 免费看欧美成人A片无码| 色99免费视频中文| 丁香花五月天| 99精品在线播放| 九九热123| 久碰久操| 97热这里只有精品| 教师性爱毛片| 小视频aaa久久久| 婷婷 丁香 精品| 中文毛片无遮挡高潮免费| 日韩美女羞羞网站在线观看| 五月天玖玖狠狠色色| 色五月婷婷操逼| 日韩成人中文| 婷婷国产日本欧美| 婷婷她六月天| 五月天激情啪啪| 99视频这里有精品| 日韩一区二区在线播放| 91九色精品女同系列| 九九色插| 日日夜夜噜噜爽爽| 天天日天天色| www.91色| 中文无码婷婷| 玖玖在线| 天天插天天插| 九九热在线视频观看免费10| 99免费热视频| 亚洲超碰中文字幕| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 色无码| 九九精品免费视频99| 五月丁香A片| 激情九九六月激情免费视频| 色情五月天导航| 欧美性爱5月天天天看| 久久这里只有精品热在99| 久久天堂加勒比| 欧美婷婷色五月| 爱久久小说下载网| 六月色色综合| 五月丁香影院| 色色综合日韩| 黄桃AV无码免费一区二区三区| 色婷婷影视| 婷婷97碰碰| 亚洲AV成人无码电影| 天天爽日日爽夜夜爽| 日韩中文字幕| 亚洲激情色色| 色婷婷丁香五月综合| 五月婷丁香| 噜噜色五月| 性色五月天| 色五月天激情| 色婷婷婷婷| AAA久久| 国产精品成人在线| 中文字幕婷婷五月天| 婷色五月| 草美女在线观看视频在线播放| 亚洲另类电影| 六月五月久久丁香| 久久男人网婷婷| 激情五月婷婷综合色播小说| 五月婷视频在线观看| 99热这里只有精品在线播放| 五月天婷婷涩涩| 五月色影院| 久久五月婷婷视频| 久久婷婷综| 狠狠色婷婷7777久| 极品少妇XXXX精品少妇偷拍| 五月激情婷婷开心| 中文字幕av亚洲| 丝袜人妻| 性爱在线播放av| 中文字幕欧美日韩VA免费视频| 狠狠色丁香婷婷基地| 天天日天天久久青青| 国产色五月| 99免费青青蜜臀| 五月婷婷综合丁香视频| 九九aV| 欧美色五月| 开心久久爱五月天| 久婷视频| 婷婷五月天久久久| 天天射天天射一道本日本社区 | 激情无码五月天| 国产亚洲精品AAAAAAA片| 很很操很很操| 色五月,婷婷大香蕉| 人人综合久| 综合激情五月四射婷婷| 久久五月天影院| 丁香婷婷激情五月天无毒不卡蜜桃| 伊人久久大香线蕉av一区| 综合网色| 中出内射的人妻视频| 丁香五月激情欧美| 丁香色五月 97干| 五月四色婷婷| 日本一级一片免费视频| 久久精品99国产精品日本| 欧美色五月天| 五月综合视频在线| 激情五月天婷婷色色色色色色色色色色色 | 超碰国产AV| 亚洲性受XXXX五月丁香| 182.t午在线观看| 大香蕉婷婷久久| 再次出发二| 色色色色色日韩午夜激情 | 一起草Av| 激情五月亚洲| 欧美99| 182无码| 久99| 婷婷色基地| 99re最新地址视频| 青青操丝袜美腿| 操操啪| 婷婷九月丁香| 五月综合激情视频| 五月婷婷黄色| 久久人人九| 日韩艹比| 狠狠干无码| www.99热视频| 99久久er| 99在线视频免费| 亚洲色婷婷五月天| 国产一级黄色影片,| 九九热视频精品| 婷婷激情五月综合| 五月色精品| 天天操夜夜爽天天操| 久久久噜噜噜www成人| 九九热精品| 91狠狠色色丁香婷婷综合久久| 天天操夜夜玩!| 7777激情基地| 怡春院久操| 成人小说色图婷婷五月| 欧美人与性动交CCOO| 日韩欧美颜射| 九九99精品视频| 婷婷激情丁香六月| 五月欧美色色五月| 天天爱天天做天天舔| 97人人操在线| 久久五月婷婷丁香| 亚洲AV无码成人精品电影| www,奇米影视| 成人国产欧美大片一区| 荡乳尤物3HP1V5| 97人人干人人操| 26UUU精品一区二区| 五月丁香婷婷婷婷综合网| 在线成人网址| 九九九色综合| 六月婷婷啪啪| 色播五月丁香综合| 毛片蕉地一二| 狠狠爱婷婷五月天| 丁香五月色情av| 开心五月婷婷| 五月婷婷基地| 天天爽人人综合免费7799| 欧美性爱一区| 玖玖五月丁香| 久久久无码精品成人A片小说 | 九九九九这里只有精品| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 久久精品91视频| 色综合9| 九月停停| 真实熟女-91九色| 婷婷综合在线| 五月丁香大香蕉| 色婷婷www| 91日韩在线| 91碰在线| 超碰人人色| av中文在线| 五月天激情影院| 91九色熟女| 26UUU欧美激情一区二区| 几激情五月婷婷色五月色天堂| 深爱激情五月天婷婷网| 色五月丁香六月婷婷| 色高清无码视频| 丁香五月天天日| 激情五月婷婷色综合| 五月丁香综合久久| 狠狠操狠狠狠| 丁香桃色网| 久久久久这里只有精品| 欧美婷婷日本| 色婷婷丁香| 我爱大香蕉| 日本女色人人| 91色欲综合| 婷婷玖玖丁香| 五月婷婷另类| 无码天天操| 色色色色色色色色色999| 99热99色| 色色性爱视频| 婷婷精品在线| 丁香五月天激情综合| 欧美三级A做爰在线观看| 国产精品扒开腿做爽爽爽A片唱戏 亚洲爆乳无码精品AAA片蜜桃 | 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 婷婷伊人网| 几激情五月婷婷色五月色天堂| 天天爽天天操| 婷婷色五月丁香六月欧美啪| 疯狂做受XXXX高潮A片| 碰碰人人人| 岛国午夜视频| 深爱激情中文五月天av| 日日夜夜青青草| 五月天激情社区| 成人版视频在线观看| 五月丁香色色| 老师的粉嫩小又紧水又多A片视频| 先锋影音av色五月天资源站| 东北黄色一级| 爱之国产色情综合| 曰日爽日日操| 99自拍视频| 在线播放人妻| 亚洲综合无码| 久久这里只有精品1| 天天射影院| 亚洲色99| 国产综合丁香五月天| 亚洲第一黄网| 色五月婷激情| 久久激情五月婷婷| 3DAV亚洲香蕉久久 一区二区| 色吊丝永久访问网址| 欧美va视频不用播放器的va视频网| www.亚洲激情| 久久久com| 五月丁香亚州综合网| 六月婷婷激情图片| 99热99热在线| 五月天激情小说网| a色婷婷| 日日天天操| 亚洲人成色A777777在线观看| av中文在线| 操婷婷久久| 九九家庭影院| www.五月婷婷久久.com| www.99色在线| 天堂AV三级| 婷婷娌伦网| 精品爱欲五| 国产精品人妻在线网址| 国语精品探花| 婷婷久久网| 91九色小视频| 这里只有免费精品| 久久99久久99精品免视看婷婷| 99人妻碰碰碰久久久久视| 色播五月丁香综合| 99热啪啪| 久久婷婷五月丁香网| 色婷婷丁香五月丁香| 亚洲综合视频在线| 精品自拍97| 久草久青福利| 久久激情网| 伊人网啪啪| 色丁香五月婷婷在线| 激情五月天综合网| 九热电影av| 思思热99在线| 99ER热精品视频| 99热精品在线观看| 色五月涩涩婷婷| 丁香婷婷五月激情四射网| 婷婷五月激情基地| 亚洲第一综合| 99re热精品视频国| 婷婷丁香五月麻豆| 久久免费操| 国产va视频| 久久99jiu9| 牛牛碰免费| 午夜成人片400| 成人五月天色天堂| 九色视频91| 婷婷 久综合| 亚洲人妻av| 99热99极品观看| 激情五月天偷拍综合网| 狠狠爱婷婷色| 噜噜狠狠色综合久| 九热久| 激情九九六月激情免费视频| 久操97| 国产婷婷综合| 91超碰在线播放| 婷婷五月色综合| 免费看无码视频A级| 日本五月天网站| 欧美日韩国产一区二区| 99riAV国产精品视频| 久久WW| 玖玖婷婷色五月| 色色九九五月天| 亚洲色图五月丁香| 99热婷婷| 日日干夜夜干| 日在线V视频在线播放| 99日这里只有精品| 九一娱乐在线观看视频| 月婷婷婷婷五月| 大香蕉人在线65| 91无码高清| 97干在线视频| 色婷婷丁香五月天| 六月丁香婷婷在线波多| 亚洲啪啪自拍| 婷婷成人视频| 九色PORNY自拍成人精彩视频| 爆乳熟妇一区二区三区爆乳| 亚洲综合视频天天精品| 中文字幕丰满孑伦无码专区| 丁香久久| 欧美日韩成人一区二区| 79精品视频在线观看,| 亚洲色五月天在线| 色婷婷AV在线观看| 色婷婷丁香| 超碰三级秋霞| 婷婷综合九色伊人| 伊人久久大香线蕉av最新| 91五月天| 国产激情一区| 亚洲婷婷基地| www.狠狠狠.com| 日韩三级高清无码| 五月激情网站| 亚州视频九九99| YW无码| 91九色网| www.操逼comm| 91人人操人人爱| www.婷婷五月天| 操丝袜视频影院导航| 色欧美影院| 99久热| 欧美美美女性色视频| 97碰| 激情都市另类| 任你爽视频| 天天日天天操天天干| 成人在线网站| 中文字幕 中文字幕明步| 激情网婷婷五月天| 77799热| 日笨久久网| 美日韩成人| 狠狠做深爱婷婷久久综合一区| 丁香六月啪| 丁香伍月婷电影全集| 丰满人妻一区二区三区| 天天日人人| 天堂五月婷婷| 婷婷丁香六月天| 99色色网| 亚洲色色精品| 婷婷欧美偷拍综合| 五月丁香九九| 色噜噜狠狠狠狠色综合久欧美| 激情九月婷婷| 99热这里只有精品首页| 丁香五月婷婷呀| 91丨九色丨熟女| 欧美怡红院黄站| 粉嫩av蜜桃av蜜臀av| 深爱激情69热| 亚洲综合视频天天精品| av国产精品偷| 亚洲色图五月丁香五月婷婷| 无码色| 91玖玖| 色婷婷丁香五月综合| 99久久国产成人精品| 91日韩美女被插视频| 第四色色色色色丁香五月天| 青青青在线视频国产| 91日本在线| 婷婷五月天久久| 天天透天天摸天天舔| 五月色视频| 99热亚洲精品| 婷婷综合一二三| 日韩熟女啪啪视频| 日韩无码专区| 久热9| 五月婷婷婷婷| 婷综合| 婷婷五月综激情| 精品人妻一区二区三区四区不卡在| 亚洲人人96@| 日本三级大片| 久碰久操| 五月婷婷影院| 97欧美在线| 综合网狠狠| 91女人18毛片水多国产| 另类婷婷五月天啪帕帕| 热思思九九| 最近中文字幕2019视频1| 五月婷婷丁香| 日本一级一级一级一级| 天天搞天天爽| 三级三久久线久久99久目本WW| 婷婷五月天AV在线| 激情都市丁香婷婷| 五月丁香激情综合| 婷婷五月天视频| enecarbon-materials.com污K127封锁请涟系@wip1688 | 丁香五月天成人| 五月丁香无码| 色区域网站视频| 五月婷婷六月基地| 激情婷婷五月基地| 久99热| 久草五月天| 99热这里只有精品3| 五月丁香六月在线| 久草热在线视频| 97热在线精品| 大香蕉久久久久| www99热| 丁香五月天之婷婷影院| 免费AV播放| 99这里有精品视频| Blackedraw视频一区二区| 人妻熟女一区二区AV| 亚洲乱码日产精品BD| 熟妇国产| 久久图色4| 99热青青草| 99自拍视频| 加勒比色色| 26UUU在线观看| 婷婷五月综合视频免费播放| 丁香五月中文字幕色播| 天天激情站| 99热这里| 97操碰日本女人| 色色色色色五月| 91vip在线观看| 99热这里只有99| 九九热这里只有精品一| 色小说五月天| 久热伊人| 日本欧美成人片AAAA| 国内在线99视频| 久99热在线观看| 成人一级片| 天天爱天天做天天舔| WWW.夜夜| 婷婷午夜精品久久久| 婷婷亚洲综合| 操草草草| 9191avse| 五月婷婷在线网站| 欧美婷婷综合| www狠狠| 99干免费视频| AV在线资源| 狠狠操天天操天天操| 六月婷婷五月天| 欧美一级色| 中文字幕婷婷9月天| aV欲望人妻中文字幕| 激情综合婷婷五月| 久久这里只有精品视频1| 伊人久久大香线蕉av最新| 色五月激情网| 婷婷五月天中文字幕| 丁香蜜臀黄色婷婷五月天| 五月天婷婷人妻| AV电影在线播放| 亚洲久久天堂| 国产免费AV网站| 99热这里只有精品最新地址获取| 99玖玖在线视频| 韩国中文字幕91| 亚洲性爱电影| 五月婷婷欧美激情| 天天肏夜夜肏| 激情五月天福利| 日本va欧美va欧美va精品| 欧美va欧美va差| 97碰在线视频| 激情国产五月| 色婷婷五月天中文字幕| 另类激情中文| 国产做爰视频免费播放| 玖玖在线视| 天天干天天爽天天操| 五月天激情综合| 六月婷婷视频| 五月天狠狠干| 伊人久久艹| 婷婷五月综激情| 五月丁香激情深爱婷婷| 天天干天天插| 99伊人性爱在线影院| 亚洲婷婷五月天激情综合| 综合激情婷婷| 久9视频免费播放| 色综合久久88色综合中文字幕| 超碰碰碰碰| 色色色9 9 9| 五月天激情网页| 色五月激情五月| 天堂色婷婷| 黄色AAAAA| 日韩在线观看网址| 激情婷婷丁香五月天小说| 99啪啪网| 婷婷丁香五月天操逼| 狠狠色激情综合| 激情五月色婷婷| 五月婷亚洲精品AV天堂| 色五月婷婷小说亚洲中文字幕组| 色插人人| 国产六月婷婷| 97人妻碰碰中文无码久热丝袜| 国产操B视频| 五月天婷婷小说| 91男人资源站| 五月天激情婷婷小说| 99热综合| 97亚洲色 torrent magnet| 操操自拍| 六月丁香色色| 五月婷婷开心网| 久操人| 思思精品热在线| 丁香五月色激情| 日日艹思思热| 激情五月天婷婷播播久久综合91| 内射激情在线| 国产精品人人做人人爽人人添| 丁香婷婷五月天色综合| 综合网亚洲| 超碰免费在线| 国产亚洲色婷婷久久99精品91| 午夜爱插插| 一区二区乱码视频| 涩综合网| 97碰| 五月色婷| 97色婷婷| 五月丁香成人日| 99色综合| 99精品无码网站| 久久se 综合网| 女力报到正好爱上你| 99免费视频| 欧美日韩大黄| 亚洲无码 图片区| 天天日夜夜爽。| 亚洲a片免费观看| 色婷婷社区| 伊人玖玖网| 天天操综合网| 色播婷婷五月天| 1024日韩| 亚洲欧洲自拍图片专区五月天| 欧美成人AAA片一区国产精品 | 91人人爱| 99热这里只有精品青草| 九九热99熟女| 亚洲综合色婷婷| 91五月天| 丁香激情五月| 五月婷婷自拍视频| 免费操超碰| 超碰在线观看99| 久思思久视频| 国产精品第一国产精品| 天天拍夜夜爽日日| 婷婷九月丁香中文| 日日操夜夜骑| 久碰久操| 专区无日本视频高清8| 丁香五月婷婷亚洲综合精品在线| 五月丁香狠狠爱婷婷综合| 日韩AAAAAAAAAAA片| 婷婷射丁香| 超碰在线人妻| 欧美成人五月天| 久99精品视频| 俺去也综合| 亭亭色天香| 五月天婷婷丁香人人操91| 亚洲国产成人在线| 成人羞羞啪啪 全 视频| 热久91| 久久人人九九| JlZZJlZZ8JlZZ亚洲熟女| 丁香五月激情性色郤| 98永久精品| 久热大香蕉| 天天操人人干| 99在线爽| 香蕉五月婷婷| 五月天精品| 3www激情| 伊人碰碰碰| 亚洲亚洲人成综合网络| 丁香婷婷性久久| 二人电影免费版在线观看| 五月天婷婷激情四射综合| 天天插天天射| 久久激情五月天| 26uuu青青| 五月天婷婷无码| 99热国产这里只有精品| 五月综合色播播丁香婷婷| 九九RE视频在线精品| 日韩国产在线精品| 久99热| 99热这里有精力| 婷婷五月综合婷婷| 日本黄色在线观看| 天天操夜夜操| 婷婷的99视频网站| 99热这里只有精品2024| 大香蕉五月天婷婷| 色久一| 色婷五月天| 97碰| 丁香五月天啪啪激情综和网| 丁香色五月直播| 婷婷丁香五月天操逼| 色色色综合网| 日日噜噜夜夜狠狠久久丁香六月| 五月丁香六月婷婷亚洲| 色噜噜狠狠色综合AV兰草影视| 99热这里只有精品无码| 亚洲AV成人在线| 丁香五月激情五月色综合| 四色永久成人网站| 婷婷综合精品| 五月丁香婷庭在线| 97丁香五月天| 国产精品99久久久久久猫咪| 亚洲久艹| 中字幕视频在线永久在线观看免费| 伊人99热| 精品99视频| 97五月天婷婷| 狠狠干五月丁香| 任你爽免费视频| 97碰碰碰| 99在线精品免费视频| 天天插天天日| 超碰久热| 991精品在线视频| 天天插,天天射| 一本久久亚洲五月婷婷| 激情另类综合| 狠狠做五月| 人人九色| 激情丁香久久久久久| Www.sesese丁香| 99色爱| 日日做A爰片久久毛片A片英语 | 超碰在线观看成人视| 成人小说色图婷婷五月| 九九精品大香蕉| 国产成人精品123区免费视频| 色99色| 亚洲超碰在线| 黄色成人网站在线播放| 欧美日比视频| 丁香综合婷婷五月天| 综合色五月| 俺去也在线www色官网| 亚洲一区二区无码蜜乳av| 婷婷一本和五月丁香| 五月天色狠狠| 这里只有精品视频国产| 天天色播| 国产亚洲99| 久婷婷五月激情| 久久机热这里只有精品免费视频| 怡红院 久久| 啪啪激情网| 激情四射五月天| 成人在线日韩| 好好干Av| 久久99热这里| 色色网站在线免费观看视频| 深爱激情AV| 五月丁香婷婷啪啪综合网| 色婷婷综合中心| 丁香五月六月欧美| 在热视频精品| 五月天天天色| 丁香婷婷色色| 亚洲不卡欧洲| av狠狠操| 成人美女网| 久久婷婷九月国产精品| 婷婷五月综合基地| 亚洲一区二区 成人网站戴套| 97sese婷婷| 91|九色|动漫| 激情婷婷丁香五月天| 日韩色色色色色| 色热久资源| 五月丁香欧美综合免费视频| 婷婷色丁香六月| 久草热在线视频| 99自拍视频在线观看| 99热这里只有精品2| 五月丁香六月激情欧美综合| 99热久| 日韩999| 亚洲网综合在线| 91黄色五月天视频| 久久婷婷激情久久| 丁香婷最新动态| 怡红院院久久| 热热久久99| 亚洲综合五月天婷婷丁香| 欧美狠狠色| 俺去也五月天| 热99玖玖99玖玖99九九| 狠狠综合久久综合| 激情综合啪啪| 99re思思热这里| 久久丁香五月婷| 啊v视频在线观看| 99热在线观看| 狠狠爱五月婷婷综合六月| 激情五月天啪啪| 天天五月香欧美| 亚洲色色香蕉| 91精品91久久久中77777| 婷婷在线视频| 91色干| 99热思思在线观看| 久久精品亚洲热| 中文字幕黄色片| 精品香蕉99久久久久网站| 中文字幕综合色| 色10月婷婷视频| 噜噜噜色噜噜| 久久综合中文| 五月婷婷亚洲天堂97色婷婷| 成人在线视频一区| 丁香 婷婷五月| 色色色网站| 99熟女| 久久久久久久久久久月丁| 婷婷五月激情六月丁香| 久播影院免费观看电视剧大全最新网| 99九色视频在线观看| 五月成人丁香av91| 九九热99免费视频| 丁香六月成人网| 成人在线日韩欧美| 熟女人妻视频| 大香蕉五月丁香| 日日夜夜天天爽| 99热久| 婷婷丁香五月基地| 亚洲国产精品成人免费一区久久久在线观看AAAA | 超碰碰碰碰| 99网址在线观看| 无码一区二区日韩| 91干在线| 综合福利网| 五月婷婷开心亚洲无| 色五月婷婷五月天| www.色五月| a网站免费观看| 九九综合| 丁香综合| 可以免费看av网站| 超碰色综合| 激情综合五月丁香六月婷婷| 九九色婷婷五月天| 日碰日| 熟女激情网| 天天爽夜夜操| 99精品丰满| 天天摸,天天爽| 香蕉狠狠爱视频| 欧亚中文A V| 亚洲另类久久| 色色色com| 超碰在线免费| 第四色五月婷婷| 婷婷五月天淫荡| 婷婷丁香成人在线视频| 五月天婷婷社区| 啪啪丁香五月| 五月丁香六月激情在线| 久操香蕉| 天天干狠狠操| 久99| WWW.天天日| 色五月天丁香婷婷| A1片久久| 五月天综合视频网| 亚洲综合色婷| 激情小说五月天中文字幕| 99热综合| 91日韩在线| 久久综合丁香激情五月| 大香蕉伊人99| 狠狠色成人影片| 日韩AV一区二区三区| 夜夜干天天干| 999热视频精品99免费在线| 另类激情五月| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 1024久婷| 久久99色色| 中文字幕无码AV| 亚洲六月婷| 亚洲乱码日产精品BD| 婷婷五月天成人动漫| 婷婷97狠狠成人网站| 99噜噜噜在线播放| 99视频精品| 亚洲亚洲激情| 久久久久久久人妻| 婷婷成人综合免费视频| 婷婷在线视频| site:picc-up.com| 国产精品日本一区二区在线播放 | 久久综合丁香激情五月| 欧美性二区| 天天玩夜夜操| 亚洲九九免费| 激情内射人妻1区2区3区| 欧美狠狠草| 色婷婷五月天| 丁香五月丁香伊人| 97人人操人人插| 五月激情婷婷女| 99热在线网站| 五月丁香婷婷综合视频| 丁香久月婷| 99精品久久久久久久婷婷| 五月婷婷六月丁香免费| 在线看片av| 天天做天天爱天天爽夜夜揉| 欧美精品XXXXBBBB| 激情婷婷六月| 婷婷五月综合丁香久久| 免费亚洲婷婷| 婷婷激情四射| 伊人91| 99热成人在线观看| 超碰99热精品| 日本片日本片祼观看网站在线看中文版网页在线看 | 天天综合网~91| 亚洲六月婷婷| 婷婷六月丁香综合| 午夜精品人妻无码一区二区三区 | 五月综合久久| 9热视频在线观看| 天天色播| 九九热精品6| 婷色视频| 五月开心久久| 99re这里只有精品在线观看| 丁香五婷| 九九久久99| 襙逼网| 五月丁香色综合| 五月天狠狠| 色狠狠色狠狠| 99超级碰碰| 五月婷婷色| 婷婷五月天香蕉| 91热99| 丁香五月天成人| 五月天综合视频网| 91操网| 丁香五月综合高清在线| 伊人九九68| 国产精品国产| 色月视频| 丁香激情五月| 激情婷婷丁香| 日日夜夜狠狠干| 综合网色| 激情五月最新网址| 久婷婷| 99av视频| 丁香五月天偷拍|