欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

從零實現(xiàn)DeepGEMM:面向推理引擎的矩陣乘法內(nèi)核優(yōu)化實戰(zhàn)

從零實現(xiàn)DeepGEMM:面向推理引擎的矩陣乘法內(nèi)核優(yōu)化實戰(zhàn) 做底層算子優(yōu)化的人大概都繞不開這樣一個念頭明明調(diào)一個庫就能拿到近乎峰值性能的矩陣乘法為什么還要自己去寫一個“DeepGEMM”我最早接手這個項目時也是這么想的直到在某個推理引擎里連續(xù)碰到幾個通用庫搞不定的場景——batch只有1、K特別大、還要把激活融合進(jìn)來我才真正下定決心自己從零搓一個GEMM內(nèi)核。DeepGEMM不是一個復(fù)雜到看不懂的項目恰恰相反它的核心思想非常樸素圍繞特定硬件和特定形狀把通用矩陣乘法GEMM的性能榨到極限。這篇文章不打算講那些花哨的推導(dǎo)而是把我從零實現(xiàn)到逐步調(diào)優(yōu)的整套思路拆開包括分塊策略、共享內(nèi)存布局、指令調(diào)度、數(shù)值精度和真實調(diào)參記錄。適合正在做算子開發(fā)、推理引擎部署、模型性能優(yōu)化的人參考哪怕你之前只寫過naive的矩陣乘法跟著這套思路也能寫出可用的高性能版本。1. 為什么還要再寫一個GEMM放棄現(xiàn)成庫的理由1.1 庫調(diào)用掩蓋的三個真相很多人覺得高性能矩陣乘法直接調(diào)庫不就行了自己寫大概率寫不過。這話一半對一半不對。通用庫確實在“通用”這個尺度上做了極致的優(yōu)化但它優(yōu)化的是統(tǒng)計意義上最常見的形狀、最普適的內(nèi)存布局、最保守的數(shù)值策略。而你一旦進(jìn)入真實業(yè)務(wù)場景這些“優(yōu)化前提”可能全都不成立。第一個被掩蓋的真相是通用庫對形狀并不敏感。它內(nèi)部會做啟發(fā)式選擇碰到M1、N4096、K4096這樣的推理場景大概率會走一條為“大M大N大K訓(xùn)練形狀”設(shè)計的路徑結(jié)果就是明明只有一兩個block在干活整個設(shè)備空閑了一大半。第二個真相是庫接口封裝了內(nèi)存布局但它假設(shè)你的數(shù)據(jù)是連續(xù)標(biāo)準(zhǔn)布局。一旦你的A矩陣來自某個量化算子輸出、B矩陣是轉(zhuǎn)置后拼接的權(quán)重你用庫時往往得先做一次內(nèi)存重排這個拷貝開銷可能直接把計算帶來的收益吃掉。第三個真相是庫不給你融合機會。激活函數(shù)、縮放因子、偏置、Clamp這些在推理里基本必然存在但放在通用庫里就成了多次讀寫的開銷。我做DeepGEMM的動機說白了就三個字要可控。我要能在內(nèi)層循環(huán)里順手把LeakyReLU做了能在K維分塊時動態(tài)加縮放能針對長K小batch的形狀單獨走一條快速路徑。這些需求不是通用庫能優(yōu)雅滿足的。1.2 通用最優(yōu)不等于場景最優(yōu)這里有個很容易被忽略的點同樣一個GEMM“通用庫最優(yōu)”和“你的場景最優(yōu)”經(jīng)常不是同一種實現(xiàn)。直接調(diào)庫跑起來可能已經(jīng)很快了比如達(dá)到了理論峰值的70%你覺得自己沒必要再折騰。但注意通用庫為了平衡所有形狀會在內(nèi)核選擇上做大量分支它在你的特定形狀上可能只有60%或65%的效率而那丟失的百分之幾到十幾在端到端推理里往往就是批處理吞吐量的差距。我在DeepGEMM里做的第一個決策就是放棄“什么形狀都最優(yōu)”的幻想明確寫死幾類目標(biāo)場景訓(xùn)練場景下M通常較大比如512到4096推理場景下M可能只有1到64但N和K往往很大。這兩類場景我會走不同的主循環(huán)和分塊參數(shù)而不是硬套同一個kernel。這個決策一開始看起來很“笨”但實測下來它帶來的收益比后面任何一個指令級優(yōu)化都大。正是因為放棄了通用性我才能針對M1的場景把整個C矩陣切成一條長條讓每個線程塊沿著K方向順序掃避免在M維度上產(chǎn)生無效block和同步開銷。而通用庫不敢這么做因為它要先判斷M1是否值得專門優(yōu)化判斷邏輯本身也會引入開銷。1.3 DeepGEMM的定位平衡點在哪所以DeepGEMM并不是要取代現(xiàn)成的高性能庫它更像是一把手術(shù)刀針對特定形狀和融合需求做定制。我在項目里保留了naive版本作為正確性基線也保留了面向大訓(xùn)練形狀的“通用快速路徑”再疊加一個面向小batch長K的“推理專用路徑”。這三層代碼共用同一套分塊框架但關(guān)鍵參數(shù)和循環(huán)結(jié)構(gòu)不同。這樣的結(jié)構(gòu)還有一個隱性好處調(diào)試定位變得容易。當(dāng)性能或精度出問題時我不用在幾千行匯編式內(nèi)核里大海撈針而是先判斷當(dāng)前形狀走的是哪條路徑再縮小到對應(yīng)路徑的邏輯。如果你也想動手寫自己的DeepGEMM建議從一開始就保持這種“快速路徑通用路徑”的分層別急著把所有東西揉進(jìn)一個kernel。2. 從計算強度反推設(shè)計先算賬再寫代碼2.1 別問快不快先問瓶頸在哪開始寫分塊代碼之前我先做了一道算術(shù)題。GEMM一次乘加需要2×M×N×K次浮點操作而需要搬進(jìn)計算單元的數(shù)據(jù)量是M×N N×K M×KC矩陣讀改寫按分塊局部化后可以壓縮這里先按全量估算。兩者一比就得到計算強度計算強度 ≈ 2MNK / (MN NK MK)這時候結(jié)論非常明顯當(dāng)M、N、K都很大時計算強度很高一個矩陣乘法本質(zhì)上是計算密集型的性能的天花板由FMA吞吐決定而當(dāng)M很小比如推理場景的M1或者K特別小的時候訪存開銷開始占主導(dǎo)你優(yōu)化指令流水線可能遠(yuǎn)不如優(yōu)化內(nèi)存搬運來得有效。這個賬必須先算清楚因為它直接決定了DeepGEMM的主循環(huán)怎么寫。對于大矩陣核心任務(wù)是把數(shù)據(jù)喂給計算單元讓FFMA永不空轉(zhuǎn)對于小矩陣核心任務(wù)變成減少讀入的數(shù)據(jù)次數(shù)和讓C矩陣盡量留在寄存器或共享內(nèi)存里。兩種形態(tài)的代碼長得完全不一樣。2.2 三層分塊寄存器、共享內(nèi)存、L2的接力賽一旦確定瓶頸是計算接下來的問題就是怎么把M×N×K的大循環(huán)拆成能塞進(jìn)硬件結(jié)構(gòu)的小塊。我的做法是三層分塊每一層對應(yīng)一級存儲。第一層是Block Tile。整個C矩陣按128×128的塊劃分每個線程塊負(fù)責(zé)一個塊這個尺寸是給L2緩存和線程塊并行度用的。第二層是Warp Tile。一個128×128的Block Tile交給4個warp處理每個warp拿32×32的子塊。第三層是Thread Tile。每個warp內(nèi)部有若干線程把32×32繼續(xù)切成每個線程負(fù)責(zé)的微塊我常用的配置是每個線程用8×8大小的累加器矩陣。為什么非要三層因為每一級存儲的容量、帶寬、延遲都不一樣。寄存器最快但容量最小共享內(nèi)存次之L2再次。三層分塊本質(zhì)上是讓數(shù)據(jù)在這三級存儲里逐級接力——A和B的大塊從全局內(nèi)存搬到共享內(nèi)存再由共享內(nèi)存搬進(jìn)寄存器而C的累加結(jié)果盡量在寄存器里累積完最后再一次性寫回。這也是很多高性能GEMM與naive版本最本質(zhì)的區(qū)別naive版本每個線程直接去全局內(nèi)存讀A和B每算一次乘加就要發(fā)起一次訪存而高性能版本是把數(shù)據(jù)先“囤積”在靠近計算單元的存儲里一次搬運、多次復(fù)用。2.3 塊形狀和尺寸的試錯起點很多第一次寫GEMM的人會到處抄別人的Tile參數(shù)抄完發(fā)現(xiàn)性能稀爛然后懷疑是自己機器不行。其實尺寸這個東西非常依賴具體硬件的手寫特性別人調(diào)好的參數(shù)未必適合你的場景和硬件代次。我的建議是找一組合理的起點然后做參數(shù)掃描不要憑感覺一錘定音。我最初用的一組參數(shù)是這樣層級尺寸說明Block Tile (BM×BN)128×128照顧L2容量和塊間并行度K維單次迭代 (BK)8或16決定共享內(nèi)存單次搬運量Warp Tile (WM×WN)32×32每個warp負(fù)責(zé)的C面積Thread Tile (TM×TN)8×8每線程持有的累加器個數(shù)Warp個數(shù)4一個Block內(nèi)4個warp這個起點不是拍腦袋而是基于硬件資源算出來的每個線程8×8需要64個累加寄存器加上A、B的片段寄存器、地址計算、臨時變量寄存器用量在150到200之間不會爆掉寄存器文件又有足夠的ILP指令級并行隱藏延遲。后續(xù)掃描我一般從“BM/BN是否變大”“BK是否太小導(dǎo)致搬運頻繁”兩個方向展開這個我放到后面調(diào)優(yōu)章節(jié)細(xì)說。3. 內(nèi)核循環(huán)的主體結(jié)構(gòu)K維主序與微內(nèi)核展開3.1 主循環(huán)里每個Stage在做什么DeepGEMM的主循環(huán)是沿著K維推進(jìn)的不是沿著M或N維。原因很簡單C矩陣的每一個點都是A的某一行和B的某一列的K維點積沿K方向一次推進(jìn)就能同時更新當(dāng)前Block Tile內(nèi)所有C元素這個特性讓K維主序天然適合做數(shù)據(jù)流水。主循環(huán)里每個Stage做四件事第一步從全局內(nèi)存加載A和B各自的一段到共享內(nèi)存記為階段P0第二步等待共享內(nèi)存就緒這叫同步點第三步每個線程從共享內(nèi)存讀入自己需要的A片段和B片段到寄存器階段P1最后執(zhí)行一批FMA運算把這組數(shù)據(jù)乘累加到自己的Thread Tile上階段P2。整個結(jié)構(gòu)用偽代碼表達(dá)大致是P0: load A_tile[by][kk] - smem_A load B_tile[kk][bx] - smem_B __syncthreads() P1: load sA[ty][tx] - reg_A load sB[ty][tx] - reg_B // 按tile坐標(biāo)取數(shù)存在swizzle時需做索引映射 P2: for i in 0..TM-1: for j in 0..TN-1: acc[i][j] reg_A[i] * reg_B[j] 前進(jìn)kk回到P0這個循環(huán)寫好之后我第一時間就不是看性能而是先拿小矩陣做數(shù)值對比。因為GEMM一旦分塊最容易出錯的就是索引坐標(biāo)映射一個分塊內(nèi)部的對齊錯位可能只在特定形狀下觸發(fā)非常陰險。3.2 雙緩沖與組播把等待變成計算P0到P2的串行結(jié)構(gòu)有個明顯問題加載共享內(nèi)存是慢的而計算是快的如果每次都要等共享內(nèi)存加載完才開始算計算單元就會頻繁空轉(zhuǎn)。解決辦法是雙緩沖。我在共享內(nèi)存里給A和B各準(zhǔn)備兩塊buffer當(dāng)前正在計算的那塊記為當(dāng)前buffer下一輪要用的數(shù)據(jù)提前加載到另一塊buffer。這樣P2的計算可以和下一次P0的加載重疊GPU在做乘加的同時DMA單元已經(jīng)在下一次數(shù)據(jù)了。同步點也從一個變成兩個一個確保上一輪計算結(jié)束前不能覆蓋當(dāng)前bufferconsumer同步一個確保下次數(shù)據(jù)寫完后才能開始下一輪計算producer同步。組播multicast或者說廣播讀取是另一個關(guān)鍵。同一個warp里的線程在K維推進(jìn)時A的某一行會被多個線程重復(fù)讀取B的某一列也是。與其讓每個線程都去共享內(nèi)存讀一遍不如讓硬件感知到這是同一條數(shù)據(jù)一次讀出來廣播給多個線程。這個優(yōu)化不在代碼層面顯式出現(xiàn)但你的數(shù)據(jù)布局和索引模式會影響硬件能不能自動識別這種廣播模式。這也是為什么我堅持用規(guī)整的、線性偏移的索引方式而不是隨手做各種奇怪的重排。3.3 微內(nèi)核中的指令級流水主循環(huán)里最內(nèi)層的P2部分我把它稱為微內(nèi)核micro-kernel。這一小段代碼寫得好不好直接決定了最終性能能到峰值的百分之多少。以每線程8×8累加器為例微內(nèi)核要做64個乘累加對應(yīng)64條FFMA指令。這里有個經(jīng)驗FFMA指令雖然是一個周期就能發(fā)出一條但如果編譯器生成的指令流是“反復(fù)往同一個寄存器上累加”會產(chǎn)生很長的依賴鏈——下一周期要用的值必須等上一周期的結(jié)果算完流水線就堵住了。所以我寫微內(nèi)核時會讓連續(xù)的幾次FFMA依次作用在8個不同的累加器上把一個64步的長依賴鏈打散成8條獨立的短鏈。這個思路有點像流水線上一個工人只擰一顆螺絲會卡住整條產(chǎn)線不如讓幾個工人各管一條螺釘線。實際我通常會讓寄存器里的A片段和B片段交錯排列先算acc[0][0]、acc[0][1]、acc[0][2]再算acc[1][0]……繞一圈回來再輪到acc[0][0]的下一次累加。循環(huán)展開因子選4或8太小依賴鏈壓不住太大會把I-Cache擠爆具體數(shù)值要看指令發(fā)射寬度。4. 訪存優(yōu)化的硬仗共享內(nèi)存沖突與Swizzle4.1 一個反直覺的停頓我的DeepGEMM在第一版完成時性能只比naive快了一倍離預(yù)期差得遠(yuǎn)。我拿著profiling結(jié)果一行行找發(fā)現(xiàn)計算單元利用率不低但是共享內(nèi)存的吞吐指標(biāo)異常高像是有東西在共享內(nèi)存上來回打轉(zhuǎn)。后來才意識到是bank conflict在作祟。共享內(nèi)存按bank組織同一bank同一周期只能服務(wù)一次訪問如果同一warp的多個線程同時訪問同一個bank硬件就得把這些訪問串行化。第一個版本我圖省事A矩陣按行主序直接鋪在共享內(nèi)存里結(jié)果一個warp里的線程去讀相鄰列的時候恰好踩到了相同的bank或bank組訪存效率幾乎腰斬。這個問題的反直覺之處在于從高級語言看每次線程訪問的都是“自己的地址”編譯器也沒有任何報錯但性能就是上不去。如果不熟悉bank機制很可能反過來懷疑是自己循環(huán)展開寫壞了白白浪費好幾天排查時間。4.2 XOR Swizzle解決沖突的直覺解決bank conflict最通用的一招是swizzle。我的做法是對共享內(nèi)存里的數(shù)據(jù)做一次XOR映射讓原本會連續(xù)訪問的地址被打散到不同的bank上。直覺上可以這樣理解共享內(nèi)存有32個bank同一warp有32個線程如果讓地址的排列方式滿足“每個線程訪問的bank號互不相同”沖突就消失了。對于A矩陣的共享內(nèi)存布局我會在索引里加一個XOR操作把行號和列號的一部分做一個異或再決定實際地址偏移。這個操作是在把全局內(nèi)存數(shù)據(jù)寫入共享內(nèi)存時就做好的計算階段讀取時直接用映射后的地址幾乎不增加額外指令開銷。當(dāng)然swizzle不是萬能藥。如果你的訪問模式本身就比較隨機XOR反而會引入新的碰頭概率。我用它主要是因為GEMM里A片段的訪問模式非常固定——同一個warp讀同一行或同一塊列規(guī)律性強swizzle的效果是立竿見影的。關(guān)鍵是要保證映射是雙射也就是不丟失數(shù)據(jù)這個我會先用小規(guī)模地址枚舉驗證一遍。4.3 向量化與對齊LDG.STS的節(jié)奏共享內(nèi)存那邊理順以后下一個瓶頸就出現(xiàn)在全局內(nèi)存到共享內(nèi)存的數(shù)據(jù)搬運上。GEMM的搬運特點是塊狀、連續(xù)、量大非常適合向量化加載。我在DeepGEMM里盡量讓每一次從全局內(nèi)存讀取都是16字節(jié)粒度也就是float4級別的讀取這樣一次訪存能取回4個浮點數(shù)訪存指令數(shù)少了四分之三。這里有個對齊細(xì)節(jié)向量化讀取要求起始地址至少是16字節(jié)對齊。如果一段數(shù)據(jù)恰好從偏移量4字節(jié)開始我就沒法直接用float4要么手動拆分要么在數(shù)據(jù)布局上填padding。我在整個項目里對A和B的leading dimension做了對齊約束寧可在尾部多填一些無效數(shù)據(jù)也不要讓主路徑出現(xiàn)未對齊訪問。向量化和swizzle要配合著做。先從全局內(nèi)存用float4讀入寄存器再按swizzle后的地址把數(shù)據(jù)寫入共享內(nèi)存這個寫入過程也盡量保持向量化。也就是說寄存器里的4個數(shù)要能連續(xù)寫到共享內(nèi)存的連續(xù)4個位置否則就得拆成4次標(biāo)量寫前面省下的訪存指令又吐回去一部分。5. 數(shù)值精度與邊界情況快但必須算得對5.1 低精度輸入、高精度累加的分寸DeepGEMM面向深度學(xué)習(xí)場景輸入經(jīng)常是FP16或BF16但累加器我會堅持用FP32。原因很簡單K維經(jīng)常是4096甚至更大如果一路用FP16累加舍入誤差會在長點積里不斷累積最終結(jié)果可能在十進(jìn)制第四位就開始飄了。分塊累加本身對精度是有幫助的。因為每一小塊只做8或16次乘加局部累計誤差被限制在小范圍內(nèi)最后再用FP32把各塊的累加結(jié)果合起來。這個操作等價于做了一個樹形歸并的簡化版比從頭到尾一長條點積要穩(wěn)得多。不過要注意如果塊尺寸取得過大比如BK64時一次性累加64項局部誤差還是會偏大我一般把BK控制在8到16之間精度和訪存開銷都能兼顧。5.2 Inf/NaN與異常輸入的處理低精度計算里最容易被忽視的是異常值。FP16和BF16的指數(shù)范圍有限哪怕輸入數(shù)據(jù)本身是合理的FP32數(shù)值轉(zhuǎn)成BF16之后也可能溢出成Inf。一旦Inf進(jìn)入乘累加鏈FFMA會把Inf一路傳播下去最后整個C矩陣的對應(yīng)行列全部變成Inf或NaN看上去像是算法崩了。我在DeepGEMM里加了一個可選的縮放機制在K維主循環(huán)最開始統(tǒng)計當(dāng)前分塊內(nèi)A和B的最大絕對值如果超過低精度格式能安全表示的范圍就整體乘一個縮放因子再進(jìn)低精度路徑。這個操作讓訓(xùn)練和推理時偶爾出現(xiàn)的異常值不會瞬間污染整塊結(jié)果。代價是多了一次數(shù)據(jù)掃描所以我只在網(wǎng)絡(luò)量化或梯度出現(xiàn)異常時才開啟這個路徑。還有一個很容易踩的坑如果輸入本身含NaNFFMA的傳播行為和標(biāo)準(zhǔn)IEEE語義不完全一樣。有些情況下NaN會被當(dāng)作普通值參與運算結(jié)果取決于指令的浮點模式。我的做法是在內(nèi)核層面加一個開關(guān)——如果檢測到NaN輸入走一條保守的標(biāo)量路徑雖然慢但結(jié)果和全FP32版本完全對齊。5.3 非對齊Shape的兜底實際業(yè)務(wù)里M和N幾乎不可能每次都恰好是128的倍數(shù)。我對非對齊shape的處理策略是主體部分用高性能Tile內(nèi)核尾部剩余的若干行或列用一個專門的小Tile內(nèi)核兜底。小Tile內(nèi)核不追求極端性能只追求不炸寄存器和正確性。選擇閾值時有個經(jīng)驗如果剩余部分占整個矩陣面積的比例小于3%尾核隨便寫寫就行主路徑是絕對性能大頭如果比例超過15%就要反思是不是主Tile尺寸選得不合適或者干脆把非對齊維度也納入主路徑用mask處理。mask處理的好處是避免兩套kernel切換帶來的額外同步壞處是predicated FMA會降低主路徑效率。我一般以10%作為切換線。這里還想強調(diào)一個正確性驗證的方法非對齊shape最容易暴露索引bug。我的常規(guī)操作是拿一個M130、N66、K17這種邊角料尺寸同時跑naive版本和DeepGEMM版本做數(shù)值對比誤差閾值設(shè)到1e-2以內(nèi)。如果這個形狀能過再上大數(shù)據(jù)集。6. 調(diào)優(yōu)實測從Profiling到參數(shù)收斂6.1 先用Performance Metric鎖定瓶頸DeepGEMM第一個可用版本跑通后我做的第一件事不是盲調(diào)參數(shù)而是用硬件性能計數(shù)器把三類指標(biāo)拉出來計算單元利用率、共享內(nèi)存吞吐、全局內(nèi)存吞吐。這三者的比例能直接告訴我瓶頸在哪。如果計算單元利用率很高但全局內(nèi)存吞吐也高說明數(shù)據(jù)搬運還能和計算重疊得更好如果計算單元利用率不到50%但共享內(nèi)存吞吐已接近上限那就是bank conflict或swizzle沒到位如果指令數(shù)看起來很多但不是FFMA占大頭那可能是地址計算和數(shù)據(jù)搬運指令過多該考慮常數(shù)下標(biāo)或減少同步點。拿這些數(shù)據(jù)說話的好處是不會因為“某次改動感覺變快了”就自我感覺良好。我經(jīng)常遇到的情況是改了循環(huán)展開因子直覺上指令數(shù)少了實際因為寄存器溢出導(dǎo)致perf曲線反而下降這種反直覺問題只能靠計數(shù)器和profiling才能發(fā)現(xiàn)。6.2 一次Tile參數(shù)掃描的完整記錄有一次我把目標(biāo)形狀定為M512、N4096、K4096的訓(xùn)練場景跑了三組參數(shù)結(jié)果很有意思參數(shù)組BM×BNBKWM×WNTM×TN計算單元利用率實測TFLOPS相對基線A128×128832×328×885%18.2基線B128×1281632×328×888%19.04.4%C256×128864×328×1672%16.0-12%A和B的差異主要在BK上。BK從8翻到16共享內(nèi)存搬運次數(shù)減半訪存指令變少利用率提升3個點這個收益是實實在在的。C組看似更激進(jìn)的Block Tile實際因為每個線程的Thread Tile變成8×16后寄存器壓力過大導(dǎo)致occupancy下降計算單元喂不飽數(shù)據(jù)反而倒退了12%。這次掃描讓我明白一個原則參數(shù)之間像木桶的木板單獨調(diào)高一塊不一定會變好反而可能擠爆另一塊。準(zhǔn)確的做法是一組一組調(diào)每次只動一個變量記錄一版結(jié)果再回滾到最佳點做下一個變量。6.3 最終效果與適用邊界經(jīng)過幾輪掃描DeepGEMM在目標(biāo)形狀上穩(wěn)定到了比最初版本快40%左右換句話說從naive到最終版整體提升了一個數(shù)量級。但要誠實講這套參數(shù)只在目標(biāo)形狀附近有效。M1的推理場景我會完全換一套參數(shù)Block Tile縮到64×64K維推進(jìn)加大到64主循環(huán)里還額外開了mask路徑因為這個場景下訪存已經(jīng)是主要矛盾計算強度太低用計算密集型的參數(shù)跑就是自找麻煩。這里也順帶提一下DeepGEMM適合什么、不適合什么它適合形狀相對固定、需要融合算子、對數(shù)值行為有特殊要求的場景它不適合形狀極其動態(tài)、每次調(diào)用都要切換kernel的開銷、或者你只是需要一個偶爾跑一次的通用矩陣乘法。項目里我同時保留了naive版本和快速路徑就是尊重這個邊界。我現(xiàn)在養(yǎng)成的習(xí)慣是拿到任何一個GEMM需求先寫一版naive作正確性基線再用三層分塊的框架套一層快速路徑然后永遠(yuǎn)只在profiling數(shù)據(jù)指引下動下一步。每調(diào)一版參數(shù)我就把結(jié)果記錄到一張表里包括相對性能和當(dāng)時的硬件指標(biāo)這樣即使兩周后回來看也能立刻知道哪個方向已經(jīng)試過、哪個方向還有潛力。最后再分享一個小技巧調(diào)優(yōu)時留著所有歷史版本的kernel切換開關(guān)別刪舊代碼否則你永遠(yuǎn)無法確認(rèn)某個性能回退到底是新改動引入的還是硬件狀態(tài)波動導(dǎo)致的。DeepGEMM這個項目做到后面最大的收獲反而不是那百分之幾十的性能而是這套“先算賬、再分層、靠數(shù)據(jù)收尾”的優(yōu)化方法論。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色五婷婷开心缴| 免费看欧美成人A片无码| 丁香五月婷婷激情小说| 毛v一区二区视频| 99热一区| 亚洲AV成人精品日韩在线播放| 99福利视频| 夜夜 操无码| 五月综合激情啪啪啪啪啪| 日韩一级片| 色丁香影院| 欧洲亚洲精品| 婷婷色情网| 天天拍夜夜爽| 婷婷丁香激情五月| AV美美午夜| 久久艹99| 性色婷婷| 久久婷.com| 天堂美国久久| 草草色情综合网| 在线色色| 大香蕉九九| 99在热线免费视频| 色婷婷社区| 色情丁香五月天| 啪啪综合| 色婷婷综合网站| 久久人视频| 久久婷婷五月天大香蕉| 大香伊人久色| 欧美A片在线视频免费观看| 99视频只有精品| 五月丁香婷婷基地| 丁香五月婷久久| 日日干天天| 超碰狠狠色| 婷婷五月成人有| 超碰成人电影| 天天做综合| 久久久大香蕉| 性爱网久久| www.91九色| 久久中国毛毛片爱久久| 丁香五月天.com| 婷婷伊人五月丁香天堂网| 亚洲成人日韩无码精品| 久婷首页| 大香蕉久久| 激情综合网五月| 99精品高潮| 丁香六月激情综合网| 国产操逼网站| 色五月丁香五月| 欧美在线97| 99人人操人人操人人精| 九九色影院| 九九热九九| 日本三级日本三级三级人妇四虎| 色婷婷基地在线| 天天日天天添| 色五月天网| 久久99久久99精品免视看婷婷| 狠狠va| 99激| 中文av网站| 99综合一区| 啪啪操超碰| www.yw色| 六月色婷婷欧美| 美女主播野战视步页| 丁香五月aV| 五月天色导航| 人人草人人舔| 激情丁香五月| www.久久婷婷| 婷婷5月色| 26uuu亚洲色| 色五月婷婷啪啪五月| 97婷婷五月天| 日韩啊啊啊| 免费看欧美成人A片无码| 精品99*| 色色婷婷婷丁香五月天| 激情无码五月天| 天插天啪天啪天啪| 超碰操网| 男女激情久久| 99热这里在线精品| 天天影视天天爽天天草| AA片在线观看视频在线播放| 91se在线观看| 精品人妻久久久| 99热激情| 老师的粉嫩小又紧水又多A片视频| 深夜婷婷 丁香| 东京热人妻一区二区三区在线| 丁香蜜臀黄色婷婷五月天| 日日噜人人人做人| 人人摸人人澡人人| 伊人爱爱日本| 国产激情综合五月| 久激情网| 无码网站视频| 亚洲激情四射| www.99久久久| 丁香婷婷视频| 国产,欧美,学生妹,视频| 久久一级片| 日韩色色小视频| 伊人五月成人| 亚洲精品第一色色色色色色| 99热综合在线| 亚洲最大在线| www.cao.com久久| WWW99热| 国产精品色色色色| 深爱激情综合| 久久久.COM| 激情五月天色爱| 五月婷婷影| 婷婷色影音天| www.25五月婷婷| 日本色色视频| 精品视频二级九九| 久久九九99亚洲国产久精综合| 99九九玖玖| 夜夜嗨一区二区三区直播内容| 99精品视频偷拍| 天天操夜夜爽| 国产精产国品一二三在观看 | 亚洲午夜在线视频| 婷婷激情五月天综合| 人人草开心五月天| 超碰成人影视| 99久久免费精品| 九九激情| 久久婷婷青草五月天| 啪啪小说五月天| 国产精品成人AV在线观看春天| 99黄色在线视频精品熟女| 婷婷深爱网| 99亚洲精品视频| 婷婷中文字幕在线| 天天操婷婷| 六月五月天婷婷涩播在线| 久鲁鲁色网| 综合大香蕉| 超级碰碰视频无码| 五月天开心婷婷激情网站| 国产SUV精品一区二区883| 激情五月综合网最新| 色五月激情网| 99伊人性爱在线影院| 色色色色av色色色色| 被男人添B超爽视频| 五月丁香久久| 狠狠色丁香| 五月停亭六月,六月停亭的英语| 婷婷五月丁香综合激情| 天堂综合久久| 99热在线观看精品| 九九久久精品| 99热综合| 九九热99精品在线| 色情五月综合婷婷| 成人午夜免费电影| 99久久婷婷国产综合| 亚洲五月天婷婷| 精品人妻在线| 91热99| 最新色色五月天| 色噜噜狠狠色综合网| 51国精产品自偷自偷综合| 一区二区你懂的| 日本激情五月天‘| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 五月丁香中文字幕| 亭亭五月基地在线| 日本色色色| 中文字幕婷婷五月天| 99热这里只有精品2| 91狠狠综合久久| 久婷婷| 亚洲五月婷婷| 亚洲国产精品SUV| 六月米奇色综合| 被强行糟蹋的女人A片| 亚洲 小说 欧美 激情 另类| 啪啪色激情五月天| 九九99免费视频| 狠狠综合久久| 五月丁香婷婷人体| av在线观看网址| 五月婷婷在线视频观看| 超碰成人免费| 懂色av粉嫩av蜜臀av| 亚洲XX日本| 五月天天丁香婷婷| 六月婷婷色色色| 99在线视频播放| 色色日本| 六月丁AV| 五月丁欧美| 开心五月天激情网| 婷婷五月激情六月| 九九热只有精品6| 久久精品A片777777| 凹凸操Av| 91人妻色色网| 婷婷五月在线| 丁香五月天啪啪| 五月天激情无码高清| 自拍视频在线观看9| 激情综合网激情五月天| 欧美综合婷婷网| 久碰久| 色狠狠综合| 色综合天天网| 六月婷久久| 丁香六月啪啪| 婷婷五月天亚洲综合| 亚洲第一成人无码A片| 丁香五月婷中字幕| WWW.五月天9999| 五月婷色丁香| 亚洲精品白浆高清久久久久久| 新伍月婷婷| 91精品国产99久久久久久天美| 六月激情网| 五月色婷婷综合| 婷婷综合激情| 七七色色综合| 影音先锋一区二区资源站| 超碰在线综合| 5月婷婷五月天| 91丨九色丨国产打屁股| 日本视频欧美观看免费| 99在线资源视频| 97资源碰碰| 五月丁香六月婷婷在线播放| 欧美欧盟性爱网| 99在线免费视频播放| 在线播放成人网站| 五月婷婷丁香五月婷婷丁香| WWW.99热| 99热综合在线观看| 再次出发二| 婷婷欧美激情| 婷色综合| 黄色av网站在线免费播放| 激情久久久| 综合激情站| 最近免费中文字幕大全高清大全1 色狠狠色噜噜AV天堂五区 | 亚洲第一色色色色| 亚洲色啪| 久久性操| 玖玖99免费视频| 婷婷九月久久| 久久R激情| 久久99网| 草草视频91| 欧美色性色好| 久久丁香五月天| 精品久久久久久久人妻| 深爱五月中文字幕| 狠狠另类视频| 婷婷 激情 五月| 亚洲丁香花色| 深爱婷婷基地| 丁香九月综合| 欧美va亚洲va| 激情综合青草| 热的国产,热的综合,热的有码 | 婷婷五月天情色| 婷婷五月色網站| 综合激情综合啪啪| 午夜爱爱爱成人| 99这里是99在线视频| 黄色精品五月婷婷| 99精品久久久| 久久五月婷婷电影| 深爱激情网五月| 这里只有精品亚洲| 激情六月丁香综合| 丁香久色| 99成人无码| 婷婷色色亚洲| 婷婷五月丁香综合网| 亚洲精品又粗又大又爽A片| 丁香九月激情| 99网| 婷婷的五月天另类视频| 97伦色婷婷| 五月天大香蕉婷| 五月天婷婷婷| 五月婷婷亚洲色图| 91精品人妻少妇无码影院| 婷婷综合一二三| 99色| 日韩色色色色色| 婷婷色五月激情| www久| 五月色情婷婷| 午夜少妇在线观看视频| 91操人人操| 婷婷中文字幕网站| 亚洲色五月婷婷| 九九十99视频| 婷婷五月激情四月综合| 久久成人综合五月天| 伊人久久五月天| 色婷婷狠狠干芒果TV| 91人人爽久久涩噜噜噜| 五月婷婷丁香综合| 色色无码| 丁香六月亚洲| 色五月综合在线| 大香蕉久久| 激情99热| 五月激情六月综合| 这里只有精品免费视频| 狠狠爱深色婷婷综合| www.henhengan| 狠狠狠狠狠| 99热9| 九九av| 操97在线观看| 婷婷丁香成人| 亚洲色综合性| 99热啪啪| 色色热日| 操操操www.com| 国产性色蜜乳| 丁香伊人网| 99热综合| 久9热视频| 丁香五月在线伊人| 色综合天天综合成人网| 亚洲精品V天堂中文字幕| 91干99| 黄网在线免费观看| 婷婷五月天激情免费在线观看| 久热黄色| 亚洲综合色成丁香五月色| 99超级碰碰| 色婷婷丁香六月| 色女伊人| 久久人妻视频| 99精品久久久| 直接看的AV网站| 成人五月丁香社区| 视频一区二区在线| 丁香五月婷婷婷婷欧美综合| 婷婷综合成人| 国产av天天插天天操天天爽| 九色婷婷| 99视频激情四射| 婷婷五月天激情网| 99精品色| 久久婷婷丁香视频网| 亚洲综合色网站| 婷婷五月婷婷| 亚洲欧美综合7777色亭亭| 操逼视频一区| 久久精品视频在这里有| 无码成人AAAAA毛片AI换脸| 久久久jd| 天天草天天摸| 九九艹女| 丁香综合伊人AV| 久久婷婷五月综合色奶水99啪| 狠狠爱青青草| 丁香六月婷婷综合麻豆| 99热综合网| 婷婷丁香五月激情密臀av| 五月丁香直播| 99热| 色色啊| 97干在线视频| 五月婷婷偷拍| 五月天激情小说网| 淫荡A片| 日韩精品色| 色色五月丁香| 婷婷欧美综合| 人妻九九九九| 综激情网| 97久久精品| 91久久九| 欧美色爱五月天| 最近免费中文字幕大全高清大全1| 综合久久97| 五月亭亭狠狠| 五月天色色色色色| 26uuu最新地址| 日韩欧美不卡| 天天日天天做天天操| 免费看欧美成人A片无码| 婷婷五月亚洲综合| 五月婷婷啪啪| 狠狠色婷婷在线| 久热一本| 久久婷婷五月天| 国产99美少妇| 天天干天天爽| 丁香五月狠狠综合欧美| 丰满少妇乱A片无码| 激情宗合哪里能看| www.夜夜| 激情伍月 欧美| 九九黄色网| 久久99热只有精品| 亚洲丁香花色| 99在线视频精品| 欧洲色区| 婷婷娱乐丁香综合网| 日本乱子人伦在线视频| 亚洲人妻五月丁香婷婷| 激情五月天福利| 一级黄色尤物综合视频手机在线观看| www.色色com| 丁香婷婷五月| 久久性刺激| 天天综合网91| 蜘蛛女免费观看完整版高清电影| 欧美性生交XXXXX无码小说| 中文字幕丁香五月| 日本综合九九| nvrentiantang av| 久久综合爱| 开心深爱激情网| 激情q青青草在线婷婷| 婷婷五月天基地| 热99精品视频观看| www.99.色| 久久开心五月天激情| 色五月婷婷1| 91玖玖| 99色区| 久久精品99国产精品日本| 丁香五月婷婷啪啪视频| 欧美婷婷综合| 亚洲色五月| 精品人妻伦九区久久AAA片| 99热精品一区| 婷婷综合网性| 无码99| 婷婷五月综合啪| 超色欲天天| 婷婷五月丁香五月| 天天综合永久| 亚洲天99| 日韩AV无码影片| 婷婷五月色情天| 91九色在线| 无码激情AAAAA片-区区| 激情综合激情综合| 99热成人永久免费| 激情五月瑟瑟| 久久久这里有精品| 丁香五月激情啪啪| 无码se| 久久婷婷五月天激情新地址| 久艹大香蕉| av婷婷丁香 六月| 久久婷婷原创视频| 91狠狠综合久久久久久| 日日夜夜小色哥| www久久久久久久97| 一点色成人网| 人妻AV在线观看| 色五月天成人在线| 九九热欧美| 射满了还射免费在线观看 -午夜版全集-新视觉影院 | 九色在线五月婷婷网址| 99色婷婷| www.99情趣网| 色欲丁香久久| 五月婷婷欧美| 久久婷婷五月综合色和| 狠狠干,狠狠操| www夜夜操| 色婷婷精品小视频| 激情婷婷在线中文字幕| 日本在线观看aaa 99| 丁香六月婷婷色XXXXX| 精品无码99| 天天噜天天插| 亚洲六月色婷婷| 激情婷婷丁香| 亚洲成人综合在线| 九九综合伊人| 99热精品无码| 狠狠撸激情综合丁香五月天俺来啦| 五月天啪啪视频| 好大好粗嗯啊-一级黄色大片免费观看-成人AV| 色色日本| 91viP在线看| 丁香涩涩爱| 色色色综合视频| 色域五月婷婷丁香| 91pornav在线| 天天射色五月天| 久久精品无码一区| 色色99| 色色色免费视频| 婷婷五月天视频免费在线观看| 激情激情激情网| 色五月婷婷久久| 激情五月色综合网| 色色色色色五月| 欧美综合激情| 9久久狠狠的| 色吧综合网| 五月婷婷AV| 成人免费高清在线播放| 欧美黄色韩日网| 视色综合| 婷婷色情五月| 丁香婷婷五月基地| 亚洲欧美另类在线23p| 26uu| 亚洲五月综合色播| 六月天无码网址| 五月色婷婷在线观看| 婷婷五月天黄色| 91婷婷丁香五月| 草榴视频网| 色婷亚洲| 99热国产婷婷| 九九热婷婷| 亚洲蜜乳AV| 墨西哥毛片内射精| 日本久久9| 青青草网武则天| 99热一本| 香蕉久久国产av一区二区| 日韩综合久| 亭亭玉月丁香| 色五月色图| 久久99网址| 九九热大香蕉| 丁香六月婷婷激情综合| 久久激情综合| 开心五月综合激情综合五月| 色色色色色爱| 99热精品无码| 日韩性视频| 久久婷婷激情| 99人人干| 日韩乱轮AV| 五月婷婷久久爱| 久久精品日| 国产91九色| 99精品久久久| 婷婷五月天va| 桔色成人在线| 综合色五月天| 久热这里| 日本性视频| 丁香五月婷婷亚洲另类| 伦乱天堂| 啪啪干伊人婷婷| 亚洲丁香五月| 伊人狠狠丁香婷婷综合尤物| 天天日夜夜| 亚洲成人在线在线| 女人天堂久久| 丁香五月婷婷亚洲人| 激情五月综合色婷婷| 九色色| 一级二级色大片| 婷婷天天日婷婷| av国产精品| 成人免费网站免费看| 日本色天堂| 婷婷色色综合激情| 久久色五月天激情小说| 97天堂| 成人草榴视频| WWW.99视频| www.sd-xiangsu.cpm| 五月婷婷丁香狠狠撸久久| 99色在线| 亚洲成av人影院| 五月天丁香花婷婷| www.xtbsty.cn.com蜜乳AV| 亚洲 无码 中文字幕 中出| 五月婷婷免费在线视频| 色婷婷丁香五月| 野外99热| 五月婷婷狠天天色综合| 激情网五月天| 99久久66综合| 婷婷五月丁香六月| 亚洲无码九九| 99自拍视频| 婷婷五月天丁香激情| 超碰三级秋霞| www.色婷婷| 97碰碰碰免费公开在线视频| 九热免费视频| 日日夜夜狠狠干| 色五月综合| 欧美操我| 99只有这里是精品| 天天干天天干天天干天天干天| 丁香婷婷浪潮AV久久综合| www.激情| 亚洲五月婷婷| 91热久88| 伊人六月无码视频| 狠狠干夜夜干| 色婷婷超碰| 人妻自慰高清合集| 无码AV免费精品一区二区三区| 91好好热日本在线| 深夜A片| 六月丁香五月婷婷| 99久久婷婷国产综合| 六月色播| 久久免费少妇高潮99精品| 免费国产VA国产免费| 婷婷六月色开| 午夜丁香久久久久久| 丁香五月综合色婷婷| 热久国产| 色www.con| 人人摸人人干人人做| 久热大香蕉| 国产操碰| 原琪琪色影院| 噜噜色五月| 天天日,天天射,天天舔| 九九色网专区| 婷婷五月天com| 久久九色| 欧美成人Va| 国产激情视频在线观看| 人妻久热| 最新久久网址| 精品久久婷婷| 天堂久久性| 狠干综合| 性色天| 色婷婷综合在线| 色丁香五月婷婷在线| 午夜不卡久久精品无码免费| 色六月丁香婷婷狠狠干| 丁香五月AV| 99热日韩这里只有精品| 丁香五月偷拍| 久久婷婷丁香五月一二三| 91啪啪视频| 丁香大香蕉| www.99热在线观看| 99九九在线精品热动漫| 色五月婷婷色| 天天骑日日爽| 天天插天天射| 日本成人噜噜噜噜噜| 欧美性猛交AAAA片黑人 | 欧美亚洲999| 国产亚洲精品AAAAAAA片| 91艹人| 五月天网址在线刘玥| 丁香五月天激情小说| 九九日伊人| 亚洲激情综合五月婷婷啪啪| 色五月开心久久网| 99热在线观看| 性一交一乱一交A片久久四色| 五月天婷婷久久| 成人做爰A片免费看网站找不到了| 久久丁香五月天| 玖玖色资源站| 久热A片| 精品无吗va视频免费观看| 欧美WW在线网| 婷婷久久亚洲| 天天综合.com| 99热97美女| 男女免费视频999| 九九99免费理论| 任你爽视频| 亚洲综合婷婷| 九九99在线视频| 国产成人av在线| 婷婷五月成人有| 96性爱视频| 在线色婷婷| 操逼视频一区| 欧美色骚婷婷五月天| 婷婷五月天久草在线| 激情小说在线视频| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 婷婷综合六| 五月天久久网站| 99re这里只有| 五月婷导航| 99黄色在线视频精品熟女| 99天堂网| 这里只有精品免费视频| 五月婷婷免费在线| 午夜激情四射影院| 日本人妻A片成人免费看片| 五月 丁香 欧美| 综合日本婷婷| 午夜丁香婷婷| 国产综合婷婷| 婷婷五月影院| 婷婷丁香五月婷婷| 伊人丁香五月| 亚洲熟女乱色综合亚洲网站| 久久99久久99精品免视看婷婷| 九九热经典视频在线观看| 五月婷婷影院| 婷婷激情五月天桃花网| 久久五月天婷婷| 五月丁香六月婷婷综合| 九九热色视频| 99热欧美精品| 99视频在线观看地址| 任你操精品免费| 九九一综合精品| 丁香五月区| 26uuu成人网| 成人丁香| 在线观看亚洲AV| 色婷婷六月精品| 99啪啪视频| 久久五月婷综合网| 大地9中文在线观看免费高清| 五月婷婷综合在线| 色色亚卅| 欧美丁香婷婷天天操| 91xxxx九色| 97久久人人人干| 99re在线观看| 婷婷亚洲综合| 丁香五月,激情五月,深爱五月| 丁香五月天堂网| 久久免费试看120秒| 免费看欧美成人A片无码| 久久九区| 99热精品在线观看| 天堂草在线看www| 五月色欧洲| 丁香综合婷婷开心激情网| 大香蕉狠狠爱主页| 五六月婷婷久久| 一本大道嫩草AV无码专区| 日韩欧美一级大黄网站| 岛国av网站| 日撸夜撸日操| 夜夜天天久久婷婷| 六月亚洲婷婷6月中文字幕| www.色婷婷.com| 久久久九九九 99| 久久婷婷七月丁香| 亚洲视频一区| 日本片日本片祼观看网站在线看中文版网页在线看 | 婷婷啪啪| 丁香五月自拍| 日本久热| www.五月婷婷久久.com| 五月天激情四射网站| 99在线爽| 激情婷婷。| 思思干精品| 超碰免费人| 免费无码毛片一区二区A片| 综合网色| 性爱综合网| 九九伊人网| 免费精品99| 色播五月网| 五月天精品视频| 日本三级大片| 婷婷狠狠操| 久久性爱视频网站| 99热这里只有精品55| 久久性爱视频网站| 五月婷在线| 丁香激情网| 久色| 成人综合网站| 97超碰婷婷五月天| 国产婷婷婷| 狠狠干五月| 九一娱乐在线观看视频| 色婷综合| 另类激情五| 亚洲不卡欧洲| 婷婷综合网| ay2区| 婷婷五六日| 伊人婷婷激情| 99亚洲色色| jiZZdr| 日韩综合久久| 午夜天堂啪啪| 中文字幕免费高清电视剧| 五月四色激情| 亚洲精品网址| 色九亚洲| 丁香五月在线伊人| 欧美婷| 婷婷六月丁| 中文资源在线a | 国产毛片精品一区二区色欲黄A片 极品人妻VIDEOSSS人妻 | 亚洲热视频在线| 99ER热精品视频| 色综合77777| 日本在线视频看se99| 97在线/亚洲| 狠狠艹狠狠艹| 亚洲欧州色情在线观看| 99久在线精品99re5热视频| 99色在线观看| 日日夜夜天天爽| 久久婷婷综合五月天| 亚洲成人av在线| 色婷婷电影网| 99九九热播在线免费视频| 超碰无码318604| 国庆精品久久| 99久久激情视频| 久热欧美| 日操熟女| 91超碰在线观看| 丁香六月婷婷综合麻豆| 草综合14| 色五月综合网| 综合超碰熟| 激情小说五月天社区丁香| 99精品久久久久久久婷婷久久| 五月丁香综合网| 超碰人人在线| 丁香五月WWW| 开心久久五月天| 思思热久久爱| 99热超碰在线| 在线超碰精品| 色 免费网站视频| 五月天激情网开心网| 国产无套精品一区二区| 丁香操逼| 玖玖资源站国产| 激情伊人五月天| 999热这里只有精品| 欧美成综合在线观看| 婷婷久久综合久| 日日夜夜婷婷| 免费看欧美成人A片无码 | 久热网在线视频| 色五月婷婷在线| 怡红院91a√| 五月的婷婷六月丁香| 色呦呦美女| 97色 五月天丁香| 欧美性二区| 丁香五月婷婷在线| 4399啪啪视频| 色就是色婷婷五月亚洲激情| 99久在线精品99re8热| 99无码| 色琪琪一综合久久激情五月视频| 久狠日av| 丰满老熟妇BBBBB搡BBB| 五夜婷婷| 五月天激情网图片| 99色热综合| 人人干天天舔| 五月丁香久久网| 五月色丁香婷婷综合| 丁香婷婷五月天色综合| 99久在线观看| 97精品综合久久内射| www.狠狠操.com| 激情五月影院| 97色色婷婷五月天| 五月综合激情视频在线| 伊人婷婷99热精品| 婷婷色天香| 九九热这里只有精品6| 日韩精品一区二区亚洲AV观看| 婷婷色成人| www久久久久久久久久久| 色综合久久88色综合中文字幕| 国产伦理精品高清在线观看网站一区二区| 亚洲五月色| 人与禽A片啪啪| 涩五月丁香| 91a片爽| 麻豆AV一区二区三区| 九九re视频在线视频| 丁香激情网| 色 噜噜 九月 婷婷| 五月丁香婷婷人体| 中文成人在线| 欧美天天五月丁香免费观看| 午夜激情综合| 超碰在线观看9| 九九视屏| 亭亭五月基地在线| 丁香五月天亚洲视频| 99人人看| 开心激情网五月天| 狠狠色九月| 婷婷精品性视频| 五月色婷婷夜色| 五月天婷婷丁香社区| 五月婷婷香蕉视频| 亚洲色色色色| 桃色五月婷婷| 久久机热思思热| 日本婷婷色| 思思热久久久在线| yirenjiqingshiping| 天天日婷婷| 青吴乐视频| 骚。com| 亚洲影院婷婷色| 亚洲久久激情| 国产精品视频免费看| 丁香五月日韩| 99色激| 超碰在线99| 五月丁香av在线| 91人久| 亚洲 五月 婷婷 成人| 丁香五月婷婷高清| 99热这里都是精品| 亚洲国产成人综合| 婷婷五月天福利| 婷婷瑟五月天久久综合| 天天干在线播放| 婷婷十月激情综合网| 五月婷婷成人| 五月天综合在线| 精品国产人人爱人人| 亚洲12p| 婷婷五月六月激情| 婷婷伊人视婷婷婷| 久草大| 六月激情婷婷综合| 九月婷婷综合色干| 婷婷操超碰| 综合五月草| 婷婷五月综合国产精品| 深爱五月激情五月| 色婷视频| 午夜无码熟熟妇丰满人妻 | 国产欧美日韩一区二区三区| 人人综合色| 99热99精品| 五月婷婷亚洲天堂激情在线| 91国产精品视频播放| 婷婷色五月开心五月| 开心六月丁香五月婷婷| 91干婷婷| 原琪琪色影院| 丁香花五月天| 色综合偷拍| 久9视频| 天天日日夜夜爽。| 丁香婷婷五月激情| 国产成人综合亚洲| 性天堂久久| 天天干狠狠操| 操逼巨乳91| 99热免费| 开心五月深爱五月| 91操色| 婷婷色基地在线看 | 婷婷中文在线| 亚洲精品一二三| 婷婷午夜丁香| 国产探花AV在线| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 日本三级99人妇网站| 久热 91| 天天综合亚洲综合| 97色女人在线| 亚洲妇女熟BBW| 91操片| 五月婷婷狠狠干| 丁香五月婷婷狠狠色| 182tv992tv人之初午夜免费观看| 五月丁香婷婷色色| 色婷婷五月天不卡| 久久中文人妻系列| 99爱爱网| 七月婷婷色香综合网| 婷婷天堂站| 亚洲va欧洲va国产va不卡| 97亚洲色 torrent magnet| 91丨人妻丨国产丨丝袜| 99综合| 日韩啪| 亚洲精色| 丁香六月av| 99操中文视频| 另类图片五月天婷婷| 99视频只有精品| 五月天婷婷操逼视频| 婷婷五月天成人影片| 99精品视频免费在线播放| 99热只有精品在线| 91黄色五月天视频| 免费看欧美成人A片无码| 五月丁香婷婷综合久久| 人人草人| 五月天狠狠干| 丁香婷婷激情五月| 91chinese在线| 日韩精品一区二区亚洲AV观看| 丁香五月婷婷啪啪视频| 激情五月天丁香| 久久色情| 91se在线观看| 亚洲99热| 丁香五月天五码婷婷| 久久这里只有精彩| 九洲一级A片| 日本天堂免费99| 精品九九久久| 超碰人人摸人人操| 免费无码毛片一区二区A片| 激情五月天在线视频| 亚洲婷婷五月| 亚洲激情另类| 99精品免费欧美小视频| 思思99热这里只有精品6| 亚洲天堂AV免费片| 日本激情ⅩXX免费视频| 性色人人爽| 六月激情婷婷| 亚洲综合色婷婷| 丁香婷婷六月天| 大香蕉五月天婷婷丁香91| 色婷婷AⅤ| 色婷婷综合丁香五月天| 久久人妻视步| 啄木鸟丝袜美女福利视频 | 在线理论片| 亚洲中文字幕在线观看| 丁香五月AV| 九九视频在线观看视频6 | 婷婷成人五月天| 色婷婷小说| ..真实国产乱子伦对白在线_欧 | 97丁香婷婷| 五月婷婷激情| 久久99网站| 大香蕉啪啪啪| 99色视频| 极品人妻XXXXOOOO| 69精品人人人人人人人人人| 99热热热99精品丁香| 狠狠爱深色婷婷综合| 操操综合网婷婷| 97自拍视频网| 中文字幕第四色.999| 午夜丁香六月婷| 色噜噜狠狠色综合网| 丁香激情网| 99国产小视频2013| 99re这里只有精品免费| www.思思99热| 亚洲第一精品成人999久久精品| 久草五月天| 婷婷在线播放| 玖玖色综合| 天天干天天拍| 国产婷伊人| 丁香五月天社区婷婷| 啪啪夜久久| 婷婷五月天成人| 五月 丁香 欧美| www.开心激情| 丁香婷婷色情| 来吧亚洲综合网| 无人区码一码二码三码医生系列| 67194中文在线| 大香蕉伊在| 人人操AV| 亚洲人人干| 婷婷五月天啪啪| 91碰| 极品人妻XXXXOOOO| 伊人激情网| 日韩性视频| 色亚洲色宗合| 色色亚洲五月天| 三级黄网站| 深夜婷婷 丁香| 六月激情网| 亚洲婷婷五月天在线激情综合网| 丁香综合伊人AV| 欧洲色色| 五月丁香综合啪啪| 久久丁香婷婷色情综合| 色婷婷成人网| 五月色 亚洲| 五月丁香成人视频| 99爱视频在线观看这里只有精品| 激情都市另类| 99久扒热| 6080av| 久久草中文日韩欧美| 99精品偷自拍| 男人的天堂97| 狠狠色丁婷婷日日,伊人激情综合网 | 五月天伊人综合| 五月在在观看| 91人人操人人爱| 99色爱| 亚洲天堂爱爱| 色婷婷丁香五月色综合网| 丁香激情网| 成人 在线观看国产| 亚洲旡码| 99热只有这里才是精品| 日韩中文欧美| 亚洲天堂AV综合网| 国产xxxxx在线观看| 婷婷五月天综合在线| 国产av天堂| 在线观看欧美| av网站中文| 丁香五月伊人| 99免费偷拍视频| 99热精这里只有精品| 激情综合区| 丁香花五月天婷婷成人社区| 色五月综合| 五月婷婷激情综合网| 99这里有精品视频| 色色色婷婷五月| 欧美啄木乌丝袜人妻系列| 九九热精品| 欧洲S级在线观看| 六月婷婷亚洲| 日日日日日| 天天综合网~91综合网| 天天色综合网吨吧| 伊人婷婷五月天| 丁香玖玖| 婷婷五月天香蕉| 免费无码毛片一区二区A片| 91九色熟女| 色五月综合在线| 青青草婷婷五月天| 久久五月六月| 久久婷婷91| 久久爱综合| 5月婷婷性视频| 91色久| 91成人品| 久久婷婷内射| 五月天色站| 丁香婷婷色五月天| 可以免费观看的av| 五月开心婷婷极品激情| 九九热精品99| 欧美在线视频9| 九九精品视频在线观看| 日韩人妻AV在线| 色天天久婷婷| 97色色色| 91九色精品熟女内射| 激情五月天色| 超碰男人色| 九九99男女视频在线观看| 激情五月深爱婷婷| 日本久久色| 人妻尝试久久久久久久久久久久| 99精品无码| 小视频aaa久久久| 五月天婷婷久久视频| 91vip在线观看| 色综合久久天天综合网| 国产三级片91| 91人操| 99在线观看精品| 久久五月激情| 色色狼人综合| 色色五月天网站| 91色涩| 九九精品自拍| 丁香花五月天激情| 亚洲网视屏| 色999五月色| 激情综合色| 亚洲精品色色| 天天舔天天爽| ri电影在线| 97碰碰碰免费公开在线视频| 九九视频精品这里只有| 成人综合网站| 激情黄色小说五月天| 丁香婷婷激情网站| 另类激情网| 丁香伊人五月色婷婷五十路| 99在线精品免费视频| 99啪视频在线观看| 色五月播五月| 欧美在线看| 色99在线| 99精品视频在线6| 精品亚洲国产成AV人片传媒| 亚洲久久婷婷| 色色五月婷| 五月天操逼激情| 亚洲色婷婷视频| 亚洲国产成人AV在线 | 国产精品久久久久久久久久| 丁香五月综合福利视频导航| 激情人妻蜜夜系列区| 久久这里只| 91超级碰在线| 欧美色色色色色| 五月丁香六月色情网欧美| 五月婷婷丁香日韩在线| 五月激情婷婷丁香天堂| 久久九九中文字幕| 色五月激情| www.五月天婷婷姐姐| 久久久日韩特色特黄AAAA| 99人妻碰碰碰久久久久视| www.zbzhongsen.com| 国产成人精品一区二三区熟女在线| 丁香色情五月综合网站| 人人干人人操外国| 99色婷婷视频| www.伊人天堂偷偷婷婷| 丁香婷婷久| 婷婷永久在线| 六月丁香射婷婷欧美色图片| 婷婷综合天堂| 色色五月丁香| 九九成人精品| 日本色色网站| 色噜噜狠狠色综合日日| 人人摸人人干人人做| 久热 91| 亚洲国产精品VA在线看黑人 | 婷婷午夜精品久久久| 思思热思在线精品视频| 大香蕉久久久久久久久| 91精品婷婷国产综合久久| 国产又黄又爽又激情不遮挡视频在线观看| 人人操操97| 激情五月综合婷婷| 国产婷婷五月天| 五月天丁香网| 99碰碰。| 91狠狠综合久久久| 久热只有这里精品| 99久久综合网| 精品九九久久| 五月激情在线| 婷婷无码五月天|