欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

DCU上Softmax算子深度優(yōu)化:從2.34ms到0.62ms實戰(zhàn)

DCU上Softmax算子深度優(yōu)化:從2.34ms到0.62ms實戰(zhàn) 1. Softmax算子為什么值得單獨寫一篇優(yōu)化文章做AI算子開發(fā)的朋友應該都有體會Softmax這個算子看著人畜無害實際上特別“刁鉆”。它的數(shù)學形式極其簡單但優(yōu)化空間和踩坑概率在常用算子中絕對排得上號。尤其到了DCU這種國產(chǎn)加速卡上想把Softmax跑出接近理論帶寬的性能需要操心的事情遠比想象中多。先說清楚Softmax在干什么。給定一個輸入向量Softmax把每個元素映射成一個概率值公式長這樣[ \text{Softmax}(x_i) \frac{e^{x_i - \max(x)}}{\sum_{j} e^{x_j - \max(x)}} ]減去最大值那一步不是可有可無是為了數(shù)值穩(wěn)定性。如果不減當輸入里有大數(shù)時(e^{x_i})直接溢出成inf后面全完蛋。這在Transformer的注意力層里尤其致命因為QK^T的點積結(jié)果動輒幾十上百不穩(wěn)定的Softmax會讓訓練直接發(fā)散。但Softmax真正的麻煩不在數(shù)學而在訪存特性。這個算子對每個元素只做幾次浮點運算計算密度極低屬于典型的訪存密集型任務。也就是說性能瓶頸幾乎完全取決于你能多快把數(shù)據(jù)從顯存搬進寄存器、把結(jié)果寫回去。在DCU上做優(yōu)化本質(zhì)上是在跟內(nèi)存帶寬較勁。這篇文章我從一個實際優(yōu)化案例出發(fā)完整走一遍從樸素實現(xiàn)到深度調(diào)優(yōu)的過程。案例背景是某推理模型中的注意力模塊Softmax算子的輸入shape為[batch, heads, seq_len, seq_len]其中batch4heads32seq_len512數(shù)據(jù)類型為FP16。優(yōu)化目標是把單次調(diào)用延遲從2.34ms壓到1ms以內(nèi)。這個場景非常有代表性。它既有行主序二維矩陣的常規(guī)Softmax特征又有大批量小矩陣的并行特性還涉及FP16的精度處理幾乎把DCU上算子優(yōu)化能遇到的典型問題都覆蓋了。適合讀這篇文章的人有三類一是正在做算子移植需要把PyTorch或CUDA代碼遷移到DCU上的工程師二是做推理優(yōu)化被Attention里Softmax耗時困擾的算法工程師三是對并行編程有興趣想看看國產(chǎn)加速卡生態(tài)實際長什么樣的技術(shù)愛好者。先說結(jié)論最終優(yōu)化后的Softmax算子單次調(diào)用耗時從2.34ms降到了0.62ms加速比3.77倍通過了一系列精度對比測試。這個結(jié)果不是靠某個單一技巧拿到的而是一整套策略組合的效果。下面我把每一步的思路、實現(xiàn)細節(jié)和踩坑經(jīng)歷都拆開講。2. DCU硬件結(jié)構(gòu)與并行編程模型的核心認知2.1 DCU的硬件架構(gòu)與計算單元布局要優(yōu)化DCU上的算子首先得搞清楚硬件長什么樣。DCUDeep Computing Unit是基于GPGPU架構(gòu)設(shè)計的加速卡核心計算單元叫計算引擎Compute EngineCE每個CE內(nèi)部包含多個SIMD單元每個SIMD單元又由若干個線程插槽Thread Slot組成。以我使用的DCU型號為例單卡有60個CE每個CE包含4個SIMD單元每個SIMD單元可以同時駐留一定數(shù)量的wavefrontDCU的調(diào)度單位等價于CUDA里的warp通常為64個線程。這意味著一個CE上同時活躍的硬件線程數(shù)非常可觀能夠用大量并行線程來掩蓋訪存延遲。DCU的存儲層次和主流GPGPU類似從快到慢依次是寄存器文件、L1緩存、共享內(nèi)存Local Data ShareLDS、L2緩存、全局顯存。每個SIMD單元有獨立的L1緩存和LDS所有CE共享L2緩存和全局顯存。有個關(guān)鍵區(qū)別需要特別強調(diào)DCU沒有像CPU那樣依賴大緩存來加速隨機訪問而是靠海量線程的并行切換來隱藏訪存延遲。這決定了優(yōu)化思路的核心——你要做的不是減少線程數(shù)而是盡可能多地創(chuàng)建可以并行執(zhí)行的線程讓它們在等待內(nèi)存數(shù)據(jù)時切換執(zhí)行其他計算。2.2 HIP編程模型與DTK工具鏈DCU的編程模型遵循HIPHeterogeneous Interface for Portability規(guī)范。HIP的語法和CUDA高度相似從CUDA代碼遷移到HIP通常只需要做少量替換比如__global__改__global__HIP里也是__global__blockIdx.x變hipBlockIdx_xthreadIdx.x變hipThreadIdx_x。但有些細節(jié)差異會在后面實操部分講清楚。DCU的軟件開發(fā)工具包是DTKDCU Toolkit里面包含HIP編譯器基于LLVM、HIPify工具用于自動把CUDA代碼轉(zhuǎn)換成HIP代碼、性能分析工具等。在使用過程中我用的是DTK 24.04版本編譯命令大致如下hipcc -O3 -stdc17 -DNDEBUG -o softmax_bench softmax_bench.cpp注意-O3在高性能算子編譯中基本是標配但如果你在代碼里用了restrict關(guān)鍵字或者__builtin_assume一定要檢查生成匯編是否真正優(yōu)化到位因為DCU編譯器在某些場景下對復雜指針別名的處理不如預期保守的代碼寫法反而會拖累性能。2.3 Wavefront、線程塊與調(diào)度機制DCU的調(diào)度機制和NVIDIA GPU最直觀的差異就是wavefront大小為64線程而CUDA的warp是32線程。這個差異影響深遠。在Softmax算子優(yōu)化中我們經(jīng)常需要做線程間的數(shù)據(jù)歸約比如求最大值、求和。在CUDA里你習慣用__shfl_down_sync在32個線程內(nèi)做shuffle歸約到了DCU/ROCm平臺對應的是__shfl_down同時因為wavefront有64個線程歸約的步數(shù)多了一級。另一個需要適應的是CE的調(diào)度粒度。DCU的硬件調(diào)度單元以wavefront為單位一個wavefront里的線程執(zhí)行相同的指令如果出現(xiàn)分支分歧會出現(xiàn)串行執(zhí)行不同路徑的情況性能損失明顯。所以在設(shè)計內(nèi)核時盡量保證同一wavefront內(nèi)的線程走相同分支或者干脆避免分支。實際測算下來同樣一份Softmax內(nèi)核我最初從CUDA直接搬過來時性能只有預期的60%左右。排查之后發(fā)現(xiàn)主要問題就在wavefront大小的差異上線程塊維度和歸約邏輯沒有針對64線程重新設(shè)計導致大量線程空轉(zhuǎn)。3. Softmax算子的基礎(chǔ)實現(xiàn)與首輪性能摸底3.1 樸素實現(xiàn)一個線程處理一行在動手優(yōu)化之前先把基礎(chǔ)版本寫出來作為后續(xù)優(yōu)化的基準線。最簡單直觀的思路是讓一個線程處理輸入矩陣的一行。假設(shè)輸入是[M, N]的二維矩陣那就開M個線程每個線程獨立處理一行數(shù)據(jù)。樸素實現(xiàn)的偽代碼邏輯如下__global__ void softmax_naive(const float* input, float* output, int M, int N) { int row hipBlockIdx_x * hipBlockDim_x hipThreadIdx_x; if (row M) return; // 1. 找最大值 float max_val -FLT_MAX; for (int i 0; i N; i) { max_val fmaxf(max_val, input[row * N i]); } // 2. 計算指數(shù)和 float sum 0.0f; for (int i 0; i N; i) { sum expf(input[row * N i] - max_val); } // 3. 歸一化寫回 for (int i 0; i N; i) { output[row * N i] expf(input[row * N i] - max_val) / sum; } }這個實現(xiàn)完全正確但性能慘不忍睹。原因有三第一三次遍歷輸入數(shù)據(jù)。每次都要從全局顯存讀一遍數(shù)據(jù)如果N比較大訪存流量翻了三倍。第二沒有做任何向量化訪存每次只能讀一個float。DCU的全局訪存帶寬是按128字節(jié)為單位的cacheline對齊的標量訪問浪費了大量帶寬。第三大量冗余計算指數(shù)函數(shù)被調(diào)用了兩次。在我測試的shape下這個版本的耗時是2.34ms。注意這個數(shù)字本身就包含了并行執(zhí)行的收益因為M4×32×51265536個線程塊請求已經(jīng)足夠多吞吐量主要被訪存次數(shù)和指令效率限制。3.2 為什么樸素實現(xiàn)會這么慢拿2.34ms來算一下有效帶寬。輸入數(shù)據(jù)量是4×32×512×512×2字節(jié)FP16 64MB加上輸出64MB總共128MB。2.34ms對應的帶寬大約是55GB/s??碊CU的規(guī)格理論顯存帶寬通常在幾百GB/s到1TB/s以上。55GB/s連理論值的零頭都不到。這中間的差距去哪了訪存模式是罪魁禍首。樸素實現(xiàn)里每個線程訪問的行是連續(xù)的128KB數(shù)據(jù)512×2字節(jié)但線程間訪問的行卻是完全離散的。同一時刻一個wavefront里的64個線程正在訪問64個不同行的首地址這64個地址分布在整個顯存地址空間中每次訪存都觸發(fā)一次完整的cacheline加載無法合并。實際上有效的帶寬利用率非常低大量總線周期花在了等待不連續(xù)地址的數(shù)據(jù)返回上。訪存合并Memory Coalescing是整個優(yōu)化的基石。正確的做法是讓同一wavefront內(nèi)的線程訪問連續(xù)地址也就是把矩陣按列方向拆分給不同線程。后面所有優(yōu)化方案都建立在這個認知之上。3.3 性能分析的基線工具使用在動手改代碼之前先用工具記錄一份基線數(shù)據(jù)方便后續(xù)對照。DCU的生態(tài)里能用到的分析工具主要是dcu_prof和hip_analyze前者做硬件計數(shù)器采樣的時間線分析后者做靜態(tài)代碼檢查。常用的操作是dcu_prof -t softmax_bench ./softmax_bench從prof輸出里可以讀到內(nèi)核執(zhí)行時間、占用率、全局訪存吞吐、L2命中率等關(guān)鍵指標。第一次跑樸素版本時L2命中率只有21%這個數(shù)字直接說明訪存模式有嚴重問題。實操心得每次改動內(nèi)核后先記錄L2命中率和全局訪存吞吐兩個指標如果它們沒有明顯變化說明優(yōu)化方向不對不必糾結(jié)延遲數(shù)字。這兩個指標能幫你快速判斷瓶頸在訪存還是計算。4. 核心優(yōu)化策略從訪存模式到并行劃分的全面調(diào)整4.1 方案一行級并行加向量化訪存樸素實現(xiàn)的問題在于線程塊內(nèi)線程處理不同行導致訪存不合并。第一版優(yōu)化從訪存模式下手——讓一個wavefront協(xié)同處理一行數(shù)據(jù)同時每個線程連續(xù)讀取多個相鄰元素形成向量化訪存。具體做法是每行數(shù)據(jù)由64個線程協(xié)作處理每個線程負責連續(xù)N/64個元素。這樣同一wavefront的線程在某一步訪問的地址是連續(xù)的硬件可以把這些訪問合并成較少的幾次cacheline傳輸。用偽代碼表示__global__ void softmax_v1(const half* input, half* output, int M, int N) { int row hipBlockIdx_x; int tid hipThreadIdx_x; // 0..63 int stride N / 64; const half* row_ptr input row * N; half* out_ptr output row * N; float local_max -FLT_MAX; #pragma unroll 4 for (int i 0; i stride; i) { int idx tid * stride i; float val __half2float(row_ptr[idx]); local_max fmaxf(local_max, val); } // wavefront內(nèi)歸約求全局最大值 for (int offset 32; offset 0; offset 1) { local_max fmaxf(local_max, __shfl_down(local_max, offset)); } // ... 指數(shù)求和、歸一化類似處理 }這里__shfl_down是wavefront內(nèi)部線程間數(shù)據(jù)交換的關(guān)鍵指令它允許線程直接讀取同一wavefront中其他線程的寄存器值不需要經(jīng)過共享內(nèi)存或全局內(nèi)存延遲極低。在DCU上它的實現(xiàn)效率和CUDA的shuffle指令相當是歸約類操作的利器。這一版優(yōu)化后耗時從2.34ms降到1.48ms。提升明顯但還沒達到目標因為每個線程訪問的元素間隔是stride而不是1向量化程度不夠。如果數(shù)據(jù)寬度允許應該用float2或float4類型做顯式向量化訪問。4.2 方案二向量化訪存與循環(huán)展開DCU的編譯器對顯式向量類型的支持非常關(guān)鍵。把數(shù)據(jù)當作float416字節(jié)一次性讀取可以顯著減少訪存指令數(shù)量同時提高cacheline利用率。修改核心循環(huán)const float4* input_v4 reinterpret_castconst float4*(row_ptr); float4 vals[4]; float local_max -FLT_MAX; #pragma unroll 8 for (int i 0; i stride / 4; i) { vals[i % 4] input_v4[tid * (stride / 4) i]; local_max fmaxf(local_max, fmaxf(fmaxf(vals[i % 4].x, vals[i % 4].y), fmaxf(vals[i % 4].z, vals[i % 4].w))); }這里有個前置條件N必須能被4整除N/64也必須能被4整除否則需要處理邊界。好在seq_len512這個場景完全滿足條件。循環(huán)展開的作用是讓編譯器生成更多獨立的訪存指令這些指令可以在等待內(nèi)存返回時并行執(zhí)行提高內(nèi)存級并行MLPMemory Level Parallelism。從實際效果看展開因子8比展開因子4性能更好但繼續(xù)加大收益就不明顯了猜測是寄存器壓力過大導致spill到local memory。這版優(yōu)化跑到了0.98ms終于突破1ms大關(guān)但距離最優(yōu)還有空間。這時瓶頸開始從訪存模式轉(zhuǎn)向計算效率和歸約開銷。4.3 方案三兩遍遍歷合并成一遍在基礎(chǔ)實現(xiàn)中需要三次遍歷數(shù)據(jù)找最大值、算指數(shù)和、算結(jié)果。但實際上第一遍找最大值和第二遍算指數(shù)和是可以合并的現(xiàn)代GPU上常見做法是分塊處理先對每個塊做局部統(tǒng)計再跨塊歸約。這里介紹一種常用技巧online softmax。它允許你在不知道全局最大值的情況下邊讀數(shù)據(jù)邊更新統(tǒng)計量。對于流式數(shù)據(jù)或無法多次訪存的場景非常有用。公式如下維護當前最大值m和累加和sum。每讀到一個新元素x計算[ m \max(m, x) ] [ sum sum \cdot e^{m - m} e^{x - m} ]這樣一來一趟遍歷就能同時完成找最大值和求和。雖然不是所有場景都需要這招多數(shù)情況下兩遍遍歷就夠但理解了它對設(shè)計更復雜的高性能版本會有幫助。實際優(yōu)化中我用的是兩遍遍歷合并到同一內(nèi)核的策略做法是每個線程讀取自己負責的數(shù)據(jù)塊先求出局部最大值然后立即在同一段數(shù)據(jù)上計算部分指數(shù)和。因為局部最大值可能不是全局最大值最后歸一化時需要調(diào)整但這個調(diào)整可以在最終歸約階段一次完成。4.4 方案四LDG緩存策略與__ldg替代DCU的全局內(nèi)存讀取存在L2緩存L2命中與否對性能影響極大。對于Softmax這種數(shù)據(jù)會被多次讀取的操作應該盡量讓數(shù)據(jù)留在L2里。在HIP中可以用__ldg內(nèi)置函數(shù)標記只讀數(shù)據(jù)訪問路徑編譯器會生成非臨時加載指令優(yōu)先命中緩存。實測在部分shape下使用__ldg能額外帶來10%~15%的性能提升。float val __ldg(input[row * N idx]);注意__ldg只對指針指向的只讀數(shù)據(jù)有效。如果你之后對同一內(nèi)存地址做了寫操作編譯器可能優(yōu)化掉__ldg或者更糟緩存一致性反而拖慢速度。這個場景下input和output指針完全分離放心用。4.5 方案五FP16數(shù)據(jù)類型的精度處理我的案例輸入是FP16而計算過程中用FP32做中間累加是必須的。FP16的有效精度只有10位尾數(shù)直接用它累加幾百個指數(shù)值誤差會被放大到不可接受。但這里有個隱蔽的問題在讀取FP16數(shù)據(jù)并轉(zhuǎn)成FP32時轉(zhuǎn)換指令本身有開銷。DCU的__half2float是一條獨立指令大量的轉(zhuǎn)換會拖慢內(nèi)核。優(yōu)化技巧是使用half2向量類型。一個half2寄存器可以同時裝載兩個FP16數(shù)一條指令轉(zhuǎn)換成兩個FP32。如果輸入對齊到4字節(jié)甚至可以用half4。half2 val2 *reinterpret_casthalf2*(row_ptr idx); float2 valf2 __half22float2(val2);這樣訪存指令數(shù)和轉(zhuǎn)換指令數(shù)同時減半整體指令吞吐量大幅提升。這個優(yōu)化比較tricky的地方在于對齊。DCU要求half2指針必須4字節(jié)對齊而輸入張量是64字節(jié)對齊的只要偏移量是2的倍數(shù)就沒問題。在實際代碼里我加了靜態(tài)斷言確保編譯期就能發(fā)現(xiàn)對齊問題。4.6 方案六大矩陣場景的分塊調(diào)度設(shè)計上面的優(yōu)化針對的是seq_len512、行數(shù)很多的情況。但Softmax還有一個典型的性能陷阱當單行數(shù)據(jù)量特別大比如seq_len4096或8192或者矩陣特別小而行的數(shù)量特別多時策略需要完全不同。針對行數(shù)據(jù)很大的場景不能再用“一個wavefront處理一行”的方案因為每行數(shù)據(jù)太大wavefront的寄存器裝不下全部數(shù)據(jù)也沒法一次性歸約。正確的做法是把每行拆分成多個列塊先分別計算局部統(tǒng)計量再用第二個內(nèi)核或第二次pass做全局歸約。這種兩階段處理有個工程細節(jié)要注意第一次pass結(jié)果需要暫存在中間緩沖區(qū)而中間緩沖區(qū)需要按塊對齊分配避免bank conflict。我遇到過的最典型問題就是中間緩沖區(qū)大小沒有按LDS的bank數(shù)對齊導致同時訪問時發(fā)生大量沖突性能比樸素實現(xiàn)還差。針對行數(shù)特別多的場景更應該關(guān)注任務調(diào)度粒度。索引從一維線性化把整個矩陣看成一個大一維數(shù)組按固定大小的tile切分給不同線程塊。然后每個線程塊從tile里提取它需要處理的行的片段。這樣做的好處是線程塊之間的負載更均衡不容易出現(xiàn)某些CE空閑的情況。5. 實戰(zhàn)記錄三版迭代完整性能對比與關(guān)鍵參數(shù)選擇5.1 線程塊尺寸與wavefront對齊的策略選擇線程塊尺寸的設(shè)計直接決定了并行度上限。DCU的一個CE最多可以駐留一定數(shù)量的wavefront超過之后多余線程只能排隊。對于Softmax這種訪存密集型算子并行度要盡量高但也不能無腦加大。在我最終方案里線程塊大小設(shè)為256即4個wavefront256/64。這樣設(shè)置的原因有兩點第一256個線程剛好可以完整覆蓋一行512個FP16數(shù)據(jù)每個線程處理2個half剛好組成一個half2向量不需要額外處理邊界第二256個線程的寄存器占用不會超過CE的資源限制允許足夠多的線程塊同時駐留。關(guān)于每個線程處理多少數(shù)據(jù)有個經(jīng)驗公式理想情況下每個線程處理4~8個FP32元素或者8~16個FP16元素既不會讓訪存指令太少導致延遲掩蓋不足也不會讓寄存器溢出。我的案例中每行512個FP16每個線程處理8個元素即4個half2分配算式是512/(64×4)2個half2每線程。這個組合實測效果最佳。如果行數(shù)是奇數(shù)乘數(shù)例如N768處理方式就會復雜一些需要最后一個wavefront部分線程處理額外元素或者調(diào)整每個線程的數(shù)據(jù)量。大多數(shù)情況下選擇每個線程處理相同數(shù)量的元素然后對越界部分做mask處理性能損失可以控制在幾個百分點內(nèi)。5.2 共享內(nèi)存與寄存器使用的平衡在歸約階段最初版本我用共享內(nèi)存做跨線程數(shù)據(jù)交換。每個線程把自己的局部最大值寫到共享內(nèi)存然后做分階段同步歸約。但很快發(fā)現(xiàn)共享內(nèi)存歸約有明顯的性能代價每次歸約都需要__syncthreads()這個同步指令會讓整個wavefront停下來等待最慢的線程頻繁使用會浪費大量周期。改用warp shuffle歸約后效果立竿見影。shuffle指令直接在寄存器之間交換數(shù)據(jù)不走共享內(nèi)存也不需要同步。因為一個wavefront的64個線程在DCU上是同時調(diào)度的天然保證了一致性shuffle的效率遠高于共享內(nèi)存。在最終代碼里我徹底移除了共享內(nèi)存的使用全部歸約都用shuffle完成。這不僅減少了同步開銷還降低了寄存器壓力因為共享內(nèi)存和寄存器在某些架構(gòu)上是共享資源的。5.3 三版方案的性能測量與放大對比整個調(diào)優(yōu)過程我保留了三個關(guān)鍵版本的測量數(shù)據(jù)整理成表格方便對照。版本核心改進點耗時相對樸素加速比有效帶寬v0樸素線程處理整行三次遍歷2.34ms1x~55GB/sv1向量化wavefront協(xié)作float2訪問1.48ms1.58x~87GB/sv2深度優(yōu)化half2向量shuffle歸約__ldg0.62ms3.77x~207GB/s有效帶寬的計算方法是總數(shù)據(jù)量輸入輸出FP16各64MB除以耗時。v2版本的207GB/s依然沒到理論峰值但考慮到FP16轉(zhuǎn)FP32、指數(shù)計算、shuffle交換這些額外開銷已經(jīng)到了非常合理的水平。這個對比也暴露了一個現(xiàn)象v1到v2的進步不是靠單項優(yōu)化而是simultaneously調(diào)整了訪存寬度、歸約機制、緩存策略和指令混合每個方向一點點累積最后疊加出大提升。單靠某一招想要3.77倍加速基本不可能。5.4 精度驗證與數(shù)據(jù)比對性能再漂亮精度不對就是廢代碼。Softmax的精度驗證我用了三步第一步最大絕對誤差檢查。在同一輸入下用DCU內(nèi)核輸出與PyTorch CPU的float64參考實現(xiàn)對比計算每個元素的最大絕對誤差。我的實現(xiàn)最終最大誤差在2e-4以內(nèi)對FP16輸出來說完全可接受。第二步分布一致性檢查。Softmax的輸出本質(zhì)是一個概率分布檢查每行輸出是否滿足求和接近1。實測最大偏差小于1e-3符合預期。第三步端到端模型驗證。把優(yōu)化后的Softmax接回原推理模型跑一批真實數(shù)據(jù)觀察最終輸出的top-1準確率和原始實現(xiàn)是否一致。這一步最重要因為算子層面的微小誤差在某些場景下會累積放大。特別提醒如果你優(yōu)化的是訓練過程中的Softmax一定要檢查反向傳播的表現(xiàn)因為梯度計算對精度更敏感。我這次只做推理優(yōu)化所以反傳不在范圍內(nèi)如果你需要支持訓練建議在反向Softmax的優(yōu)化上單獨投入時間很多推理場景的優(yōu)化技巧不能直接套用。6. 常見問題與性能排查技巧實錄6.1 為什么我的shuffle歸約結(jié)果不正確在DCU上使用__shfl_down時最容易踩的坑是忘記處理線程數(shù)不等于wavefront大小的情況。如果線程塊大小是128而你只用前64個線程做歸約并shuffle到其他線程就會漏掉數(shù)據(jù)。我調(diào)試時發(fā)現(xiàn)一個更隱蔽的問題__shfl_down的offset如果小于32行為正常但如果offset在32到63之間某些DCU型號的驅(qū)動行為不一致結(jié)果丟數(shù)據(jù)。排查了很久最后改成兩次循環(huán)先做offset32的歸約再做offset16、8、4、2、1的歸約問題消失。還有個常見錯誤是忘記把參與shuffle的變量賦初值。如果某線程的局部最大值初始化為0而不是-FLT_MAX恰好這一行所有輸入都是負數(shù)最終歸約結(jié)果就會錯誤地變成0。這種bug不會崩潰只會讓精度測試不過非常隱蔽。6.2 L2命中率上不去問題出在哪用dcu_prof看到L2命中率低第一反應自然是緩存復用不夠。但對于Softmax這種流式訪問主導的算子L2命中率天生不會太高因為每行數(shù)據(jù)基本只會被讀一次如果用兩遍遍歷會被讀兩次但第二次可能已被擠出L2。如果L2命中率特別低另一個排查方向是線程塊調(diào)度順序。DCU的線程塊調(diào)度順序可以控制L2的空間局部性。嘗試修改hipLaunchKernelGGL的grid維度排列方式把相鄰線程塊映射到共享L2區(qū)域的線程塊能提升命中率。我實測過把grid從[M]改成[M/8, 8]二維grid其中第二維是L2切片索引結(jié)果L2命中率從21%提升到了34%。雖然數(shù)字看著不大但整體耗時降低了約8%。6.3 編譯器自動向量化失敗如何檢查DCU的HIP編譯器對自動向量化的能力有限尤其在循環(huán)內(nèi)有fmaxf這類數(shù)學函數(shù)時常常不會自動生成向量訪存指令。檢查方法很簡單在編譯命令里加-S選項生成匯編文件然后搜索v_load或global_load_dwordx這類指令。如果發(fā)現(xiàn)循環(huán)體里都是global_load_dword4字節(jié)標量加載說明編譯器沒有自動向量化成功。解決辦法是像前面那樣顯式使用float2或half2類型把向量化寫死在代碼邏輯里。編譯器對顯式向量類型的支持很好反匯編能看到global_load_dwordx28字節(jié)或global_load_dwordx416字節(jié)指令。6.4 性能抖動為什么內(nèi)核耗時忽高忽低內(nèi)核耗時不穩(wěn)定可能是其他任務搶占顯存帶寬也可能是時鐘頻率波動。排查方法是連續(xù)運行多次benchmark觀察分布。更有意思的一個原因是DCU在同時跑多個上下文時L2緩存會被共享如果同一個GPU上有其他kernel在跑Softmax的L2命中率會驟降。這是硬件層面的資源競爭代碼層面沒法完全規(guī)避但可以在任務調(diào)度時避免同時運行多個大訪存kernel或使用單獨的GPU實例。6.5 邊界條件處理的最優(yōu)解當N不能被線程數(shù)整除時不要直接開根號強行整除那會讓代碼邏輯臃腫且難以維護。更優(yōu)雅的方案是讓每個線程處理固定數(shù)量的元素最后留一個線程處理尾部數(shù)據(jù)。或者使用grid-stride loop讓每個線程循環(huán)處理多個元素循環(huán)條件里判斷邊界。這個模式對不規(guī)則shape的適配性最好性能損失也很小。6.6 從CUDA代碼遷移到DCU的隱藏問題如果是從CUDA代碼直接遷移hipify工具能完成90%的替換工作但剩下10%會導致性能劇烈下降。最常見的問題第一__syncthreads()的語義在DCU上不如CUDA嚴格某些編譯器優(yōu)化可能導致同步被移除。如果代碼里有復雜的共享內(nèi)存讀寫依賴最好檢查一下反匯編里是否真的存在barrier指令。第二cudaMalloc換成hipMalloc后分配的大內(nèi)存默認屬性可能與CUDA不同訪問延遲更高。建議嘗試hipMallocManaged或調(diào)整對齊屬性。第三__restrict__關(guān)鍵字在DCU編譯器上的優(yōu)化力度不如NVIDIA的nvcc。如果遷移后性能達不到預期嘗試手動把指針加載到局部變量消除每次訪問的指針解引用開銷。7. 關(guān)于DCU算子優(yōu)化生態(tài)的一些補充經(jīng)驗除了Softmax本身這次優(yōu)化過程中接觸到的DCU工具鏈和生態(tài)也值得說幾句。DTK的hipcc編譯器總體質(zhì)量不錯但對某些優(yōu)化模式的支持還不成熟。比如我嘗試過用內(nèi)聯(lián)PTXDCU上對應的是內(nèi)聯(lián)GCN匯編手寫FMA和指數(shù)指令的組合確實能壓掉幾條指令但代碼可維護性急劇下降。除非為了追求極限性能否則不建議在工程代碼里大量使用。DCU的性能分析工具這幾年進步明顯dcu_prof的硬件計數(shù)器覆蓋已經(jīng)比較全。但相比成熟工具還是少了些便利性比如不能直接在時間線上查某條指令的詳細信息。解決方法是自己在代碼里插樁用clock64()記錄關(guān)鍵階段耗時。這個方法土但有效。社區(qū)方面雖然DCU生態(tài)還比不上CUDA但近兩年的文檔和示例代碼質(zhì)量提升很大。遇到問題時先查/opt/dtk目錄下的示例代碼通常能找到對應的內(nèi)核模板再結(jié)合官方性能優(yōu)化指南里的架構(gòu)特性說明大多數(shù)問題都能定位。對于團隊來說如果要做算子遷移建議建立一份自己的性能基線庫把每個算子在不同shape下的樸素實現(xiàn)耗時、優(yōu)化后耗時、理論帶寬和實測帶寬都記錄下來。有了這個基線庫后續(xù)新算子的優(yōu)化進度評估會快很多也能避免把已經(jīng)解決過的坑再踩一遍。8. 最終版本核心代碼參考實現(xiàn)把最終可運行的優(yōu)化內(nèi)核主體貼出來方便參考。這個版本融合了前面所有可行優(yōu)化代碼故意保留了shuffle歸約和half2顯式向量化方便對照理解。#include hip/hip_runtime.h #include hip/hip_fp16.h #include cmath #include cfloat // 假設(shè) M 能被 gridDim.x * blockDim.x 整除此處 M 65536 // 每行 N 512 個 half由 blockDim.x 256 個線程處理 // 每個線程處理 1 個 half2即 2 個 half一個 block 覆蓋 2 行 __global__ void softmax_opt_kernel(const half* __restrict__ input, half* __restrict__ output, int M, int N) { const int tid hipThreadIdx_x; // 0..255 const int wid tid 6; // 所在 wavefront 編號 0..3 const int lane tid 63; // wavefront 內(nèi)線程編號 0..63 // 每個 block 處理 4 行間隔 blockDim.y? 此處簡化為線性處理 int row hipBlockIdx_x * 4 wid; // 一個 wavefront 處理一行 if (row M) return; const int half_per_thread N / 256; // 2 const half2* row_ptr reinterpret_castconst half2*(input row * N); half2* out_ptr reinterpret_casthalf2*(output row * N); float local_max -FLT_MAX; // 每線程負責一個 half2 half2 val __ldg(row_ptr[lane]); float2 valf __half22float2(val); local_max fmaxf(fmaxf(valf.x, valf.y), local_max); // wavefront 內(nèi)歸約最大值 (64 - 1) #pragma unroll for (int offset 32; offset 0; offset 1) { local_max fmaxf(local_max, __shfl_down(local_max, offset)); } float row_max __shfl(local_max, 0); // 廣播到整個 wavefront // 計算指數(shù)與和 float e0 __expf(valf.x - row_max); float e1 __expf(valf.y - row_max); float local_sum e0 e1; #pragma unroll for (int offset 32; offset 0; offset 1) { local_sum __shfl_down(local_sum, offset); } float row_sum __shfl(local_sum, 0); // 歸一化寫回 half2 res; res.x __float2half(e0 / row_sum); res.y __float2half(e1 / row_sum); out_ptr[lane] res; }這段代碼有幾個使用前提行數(shù)必須是block數(shù)×4的整數(shù)倍這個案例滿足N必須等于256的倍數(shù)512滿足。如果shape不滿足需要加上邊界判斷邏輯會復雜一些。關(guān)于__expf和expf的選擇我在優(yōu)化中特意用了快速版本。__expf的精度比expf低一些但速度更快。對Softmax的最終輸出影響在1e-5量級完全可接受。在訓練等需要高精度的場景建議換回標準expf。另一個細節(jié)是__shfl和__shfl_down的配合使用。先通過__shfl_down把最大值歸約到lane 0再用__shfl廣播給全wavefront這個模式比每個線程都保存一份最終值更省指令。9. 后續(xù)擴展方向與實踐建議Softmax的優(yōu)化經(jīng)驗可以直接延伸到其他訪存密集型算子。像LayerNorm、RMSNorm、通道均值方差計算它們的結(jié)構(gòu)都是“讀數(shù)據(jù)-歸約-歸一化-寫回”和Softmax幾乎同構(gòu)。把這次用的shuffle歸約、half2向量化、L2緩存友好的線程塊調(diào)度這幾個技巧遷移過去通常能快速獲得類似幅度的提升。在更復雜的注意力機制中Softmax經(jīng)常和QK^T矩陣乘法、矩陣掩碼操作融合。如果你的融合目標是減少kernel launch次數(shù)可以在Softmax內(nèi)核里加一個參數(shù)判斷是否需要應用attention mask。在DCU上kernel launch的固定開銷比NVIDIA高減少launch次數(shù)對端到端性能的影響更明顯。這也是我后續(xù)在做的工作方向。從業(yè)余時間接觸DCU到現(xiàn)在我最大的體會是硬件不同但底層邏輯共通。訪存合并、歸約效率、指令混合、緩存利用這些在任何GPU架構(gòu)上都是核心命題。只不過在DCU上你需要更主動地管理這些優(yōu)化因為工具鏈和編譯器還沒成熟到自動幫你搞定一切。對于剛開始接觸DCU優(yōu)化的朋友建議從小算子入手別一上來就挑戰(zhàn)大模型端到端調(diào)優(yōu)。Softmax其實是個很好的起點數(shù)學簡單但訪存、歸約、向量化、緩存全涉及一遍。把這個流程走通再看其他算子會輕松很多。這次優(yōu)化到0.62ms之后我并沒有繼續(xù)往下壓。再往下走就要開始碰匯編手寫指數(shù)運算和指令級調(diào)度了收益可能還有20%左右但代碼可讀性和可維護性會急劇惡化。在工程實踐中一個能維護、能debug、能遷移的內(nèi)核比一個快10%但誰也看不懂的內(nèi)核有價值得多。如果你走的是產(chǎn)品化路線記住這個判斷標準。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天久久婷婷| 一本色道久久综合狠狠躁一二三| 四色综合网| 色色色色五月| 另类激情五月天| 色婷婷五月天成人网| 综合另类视频| 色婷婷丁香AV综合| 亚洲精品久久久无码| 性爱视频99| 久久黄A片| 国产全是老熟女太爽了| 婷婷五月丁香六月| www.91婷婷| 六月婷婷色五月| 91pornav在线| 欧美一黄一色一乱一伦| 久操婷婷| 这里只有精品视频99| 色五月婷婷激情五月| 久久婷婷五月天丁香| 久久99操| 国产激情av| 丁香五月激情综合| 狠狠摸狠狠摸| 亚洲色婷婷视频| 五月丁香久久| 午夜成人天堂久久无码日韩久久| 偷偷操99| 亚洲色色五月天| 老师高潮流白浆喷水的A片| 日本五月天网站| 婷婷丁香五月激情图片| 九九99在线观看视频| 久久99看免费| 欧美日韩国产一区| 日韩精品成人在线| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 午夜不卡久久精品无码免费| 久久久久婷婷| 色狠狠色| 99婷婷| 狠狠五月激情丁香六月| 日日艹思思热| 五月丁香婷婷成人网| 亚洲狠狠婷婷综合久久久| 久久精品日| 五月天丁香色色| 久久激情视频| 天天干夜夜谢| 国产操碰| 大香蕉手机视频| 亚洲欧美丁香五月天亚洲欧美| 五月天婷网| 草美女在线观看视频在线播放 | 婷婷五月天激情综合| 97视频久久| 91九色中文字幕女在线观看| 五月丁香最新| 五月天久久网站| 97人妻人人| 欧美三级大片AA在线看| 色婷婷播放| 97超级啪啪在线观看| 国产欧美日韩综合精品一区二区| 久久久宗合视频88| 婷婷五月欧美| 五月天社区婷婷| 激情综合五月天| 丁香五月天社区| 亚洲网站999| 五月丁香六月婷婷操操操| 午夜爱爱爱成人| 最新精品视频99| 69午夜成人影片| 久久黄色网扯| www.成人婷婷综合| 在线另类视频| 国产暴力强伦轩1区二区小说| 免费视频无码| 99er热精品视频| 色婷婷激情五月天| 色五月成人婷婷| 九九热这里有精品23| 婷婷五月丁香高清无码| 五月丁香淫淫婷婷婷| 色五月激情| 五月婷婷激情四月| 婷婷娌伦网| 任你爽精品免费视频6| 91精品国产99久久久久久天美| 成人欧美日韩| 国产人妻777人伦精品HD| 欧美成人猛片AAAAAAA| 丁香五月婷婷社区| 亚洲婷婷基地| 热久久视频99| 综合色99| 日本三级99人妇网站| 丁香花成人区| 人妻乱码久久久| 日韩小视频在线99| 在线99热| 亚洲天堂玖玖| 丁香六月婷婷缴情欧美| 99国产性感视频| 婷婷五月综合激情| 婷婷伊人五月天| 天天摸天天舔天天天天爽| 色婷婷基地| 婷婷综合激情五月中文字幕| xx久久| 色婷婷yy久| 综合久久狠狠| 91久久久久久久久久久| 亚洲五月六丁香激情| 战争与艾拉电影免费观看| 99在线观看精品视频| 99热精品在线观看| 碰超在线九色| 狠狠狠狠狠狠草| 日日操日日撸| 极品少妇高潮啪啪AV无码| 91操人视频| 激情综合色婷婷啪啪五月天| 欧亚洲在线高清视频| www激情网| 九色无码| 另类婷婷五月天啪帕帕| AAAA亚洲| 久99久精品视频| 成人片黄网站色大片免费毛片 | 免费看欧美成人A片无码| 超碰成人在线免费观看| 狠狠人人| 99在线精品免费视频| 亚洲亚洲人成综合网络| 日本色婷婷| 天天色天天色天天色天天色天天色| 五月久久婷婷天堂视频| 国产综合A片| 久热久色| 婷婷五月天小说网| 欧美精品999| 五月丁香五月天现场视频| 久久99网| 国产超碰av| AV九九| 五月天狠狠网| 人操91在线| 久久a热| 国产综合A片| 五月激情综合五月| 无码人妻少妇色欲AV一区二区| …亚洲黄色在线播放日韩、av中文a…| 夜夜夜叫天天天做| 黄急一级视频| 婷婷偷拍网| www,色色色网站| 国产人妻777人伦精品HD| 婷婷久久五月| 超碰九色| 亚洲AV成人在线| 99亚州综合精品成人网| 色播五月丁香综合| 日日操日日撸| 久久综合中文字幕| 五月激情婷婷综合| 色五月色五天色情网| 婷婷五月天美女21p| 成人αV视频免费观看| 五月天合网| 成人AV免费观看| 日本精品干| 就去涩涩丁香五月天| 色九月婷婷| 五月久久婷婷丁香| 开心五月婷婷激情| 亚洲无码成人网| 碰碰91| 色域五月婷婷丁香| 日亚二欧美| 99热热热国产超碰| 五月天大香蕉| 啪啪91| 日本色色网| 超碰在线99| 五月丁香婷婷在线| 欧美在线骚货| 婷婷中文字幕网站| 天天弄天天操| 天天性视频| 另类激情综合| 色色亚卅| 超碰免费电影| 99riAV国产精品视频| 97碰碰视频| 极品另类| 密黄站| 99热综合| 六月丁香激情综合| 日韩成人影片在线观看| 婷婷五月色天| 91九九| 五月丁香六月婷婷久久| 天天网站天天爽| 99九九视频| 婷婷成人网五月天| 九九草草逼| rr天天操| 婷婷五月丁香六月| 99免费视频| 日日噜狠狠色综合久久| 九色无码| 天天插天天射| 丁香五月婷婷日本| 五月色婷婷综合| 大香蕉婷婷色| 97伦乱| 激情五月丁香五月| 这里只有精品视频222| 激情九月婷婷| 欧美人妻一区二区| 7777激情基地| yjzz亚洲国产| 伊人激情啪啪| 丁香六月激情综合啪啪| 超碰人妻在线| 中文字幕在线人妻| 激情丁香五月婷婷| 综合网激情| 婷婷99狠狠躁天天| 久久性都花花世界成人免费视频 | 欧美六月婷婷| 天天干一干| 中文字幕色色| 91蜜桃婷婷狠狠久久综合9色| 天天干天天干天天干| 国产三级秋霞| 九九色精品| 影音先锋秋秋五月婷婷| 久草大| 激情丁香淫荡婷婷| 色在线免费观看| 91精品在线看| www.狠狠艹| 九九久久99精品免费观看www| 国产精品涩涩涩视频网站| 五月婷婷m| 日本三久久| 久久66er久久| 久操人| 成人看片网站| 午夜成人天堂久久无码日韩久久| 五月婷久久在线| 丁香五月综合久久| 色www99| 五月丁香啪啪啪| 中文字幕婷婷五月天在线观看| 草榴视频网| 日本不卡高字幕在线2019| 五月色丁香| 五月四色婷婷| 国产片天天爽夜夜爽| 激情婷| 人妻丰满精品一区二区A片| 精品爆操| 天天做天天爱天天要| 婷香五月网在线| 色香久久| 91se在线观看| 色色五月丁香婷婷综合| 影音先锋AV资源男人站| 疯狂做受XXXX高潮A片| 五月综合丁香婷婷| 色婷婷在线视频| 婷婷六月色情| 玖玖精品视频99| 午夜大香蕉| 99re免费视频| BlACKEDRAW视频一区二区| 国产精产国品一二三在观看| 大香蕉五月婷婷| 五月天激情视频网站| 狠狠88综合久久久久噜噜噜| 色狠狠五月天| 婷婷久久丁香五月| 99精品一二三四视频| 亚洲精品另类| 狠狠色婷婷色| 天天爱天天天射AV| 丁香五月婷婷总啪啪| 荫道BBWBBB高潮潮喷| 99激情| 色婷婷免费观看| 久久激情网| 这里只有精彩视| 天插天啪天啪天啪| 久久久久久丁香五月| 六月婷婷狠狠色在线观看| 9久久精品| 91精品婷婷国产综合| 91视频久久久| 五月婷婷激情久久| 亚洲婷婷视频| 夜夜爽日日躁| 。久久久久久久久久久久久久人妻 | 99欧美| 日本操片| 第四色激情网| 男人天堂亚洲综合| 丁香婷婷色五月合集| 日日操日日干| 日本操B视频| 五月丁香啪啪综合| www.婷婷五月| 色五月激情婷婷| 超碰在线99| 五月天色丁香| av操逼网| 国产亚洲成AV人片在线| 婷婷久久99| 婷婷五月激情综合| 亚洲激情五月婷婷日日| 深爱激情五月婷婷| 狠狠色狠狠| 亚洲中文字幕AV| 五月综合激情| 99视频地址| 亚洲性图一区二区| 99爱视频| 欧美婷婷综合| 日韩中出视频| 日韩在线视频中文字幕| 五月婷婷成人w| 3www激情| 亚洲天堂AAA| 五月丁香六月婷婷亚洲| 91婷婷丁香五月| 99爱视频| 成人做爰A片免费看网站找不到了 国产露脸150部国语对白 | 亚洲视频一区| 九九99在线| 丁香九月综合激情| 九九视频热| 久久婷婷综合五月| 91色情播放| 婷婷丁香激情| 久久香蕉丁香| 成人婷婷色五月天| 六月婷婷综合| 婷婷色情 | 亚洲无码AV片| 亚色网站小视频| 色五月首页| 99九九热在线观看| 专区无日本视频高清8| 五月Huangsewang| 97资源碰碰在线| 久久视频这里都是精品| 少妇性按摩无码中文A片| 激情综合五月丁香| 99热欧美偷拍| 婷婷五月综合啪| 91se在线观看| 万月丁香狠狠爱| 99久在线观看| 九九在线这里只有精品视频| 婷婷99狠狠躁天天| 日日操无码| 97色色色色色色色| 91青娱乐青青草| 中国女人做爰A片| 婷婷丁香成人五月天| 夜夜爽天天| 99色亚洲| 成人无码髙潮喷水A片| 久久香蕉丁香| 一本久道综合色婷婷五月| 人妻少妇色综合| 亚洲国产黄色电影| 丁香五月激情综合在线观看| 黄网免费看| 久久44| 亚洲色五月| 99在线精品观看99| 91激情五月开心| 五月天色婷婷图片| 色色色热| 亚洲综合成人网| 99性爱视频网站| 五月婷婷综合网| 色五月综合在线| 人人操人人爱丁香五月| 中文字幕在线免费看线人| 亚洲不卡| 五月婷婷啪啪网| 日日操夜夜操中国无码| 26uuu青青| 日韩五月丁香| 四虎国产精品永久在线国在线| 婷婷五月天色播| 亚洲久久日| 色天堂A| 人人操97| 久久曰曰| 六月丁香成人网| 成人 AV播放| 天天综合亚洲综合网天天αⅴ| 成人在线日韩欧美| 色色色五月婷| 色婷婷五月天在线观看| 九九99九九99九九99视频网| 中文久久婷婷| 五月天播播| 精品九九视频| 8050一级网| 人人干Av| 97人人干| 婷婷丁香人妻天天爽| 五月丁香久久久| 99人人干人人| 六月丁香啪啪| 丁香五月亚洲婷婷| 综合aV在线| 五月婷在线视频免费播放| 99精品视频在线观看| 9色操| 成人免费视频一区| 综合色五月| 亚洲九九在线| 五月天伊人网| 99视频久久| 色婷婷五月色| 婷婷五月电影| 激情丁香五月天图片| 天天草天天舔| 五月天操逼激情| 丁香五月天堂| 久久九九大香蕉电院| 色情综合网| 五月天丁香色色| 天天爽人人综合免费7799| 色999;丁香五月| 色~性~乱~伦~噜| 九九青草热| 日本在线va| 性爱网五月婷婷| 亚洲区,视频区,视频区免费| 久久婷婷色综合| www99热| 五月色情婷婷开心五月色情| 大地资源色婷婷视频在线| 狠狠999| 51精品国内探花| 色五月六月| 99精品小视频| av在线播放网址| 少妇性BBB搡BBB爽爽爽视頻| 激情五月五月婷婷| 久久综合99| 精品久久66| 精品色色网| 美女丁香五月天| 99色五月| 深爱激情六月天| 天天爱天天爽| 大香蕉久久婷婷精品综合| 91无码色色| 五月丁香婷中文| 久久 无毛。| 六月婷婷激情| 热思思| 伊人网啪啪| 成人做爰A片免费看视频| 欧美日韩成人在线网| 色综色五月天婷婷| 五月婷婷六月丁香| 亚美欧色影院| 99色色网| 亚洲av骚货| 五月婷婷av| 婷婷五月天综合在线| 色五月女| 五月婷婷综合视频| 日本女人久久| 99日在线视频| 琪琪色五月天| 999热这里只有精品| 色综合久久88色综合天天人守婷| 草草色情综合网| 97人人超| 91av无码| 开心激情站| 精品香蕉99久久久久网站| 久久密臀婷婷| 99热插| 99精品偷拍视频| 激情久久丁香| 五月婷久久| 五月色丁香综合| 五月婷婷免费| 色五月 五月婷婷| 六月婷婷综合激情| 狠狠狠狠狠干| 日本色99| 五月丁香婷婷色播无码| 五月天另类小说| 色丁香久综合在线久综合在线观看| 五月婷婷97| 免费黄色片子| www.色婷婷| 熟妇天天综合| 无码一区精品一区视频| 亚洲欧美婷婷五月色综合| 久99久在线| 91狠狠综合久久久| 亚洲正能量欧美| 日本偷拍九九九| 色五月婷婷天堂| 婷激情五月天视频导航| 五月婷婷丁香俺日污视频| 欧美精品99| 成人做爰A片免费看视频| 第1影院之五月婷婷| 99爱免费在线观看| 久操大| 天天摸,天天爽| 啪啪综合| 婷婷日本在线| 色婷婷丁香花五月天| 色九月婷婷丁香| 2017人人操| 无月播播激情在线观看视频| 2014天天爽| 性欧美日本| 精品久久婷婷| 久操福利| 久婷| 色婷婷情片| H亚洲| 欧美97超碰| 成人无码髙潮喷水A片| 色香久久| 色婷婷在线播放| www.色五月.com| 欧美视频五区| 亚洲区视频| 欧美黄色AA片哗啦啦啦| 久久美女五月天| 丁香五月电影| 国产美女视频久| 国产va视频| 看片视频在线免费日产在线看| 五月丁香六月欧美综合网站| 国产特黄色精品一区二区三区精品无广告| 99热在线观看| 真实熟女-91九色| 91综合视频在线| 久久久27操| 中文字幕欧美久久| 久久久婷婷| 国产日批视频免费播放| Va另类视频| 成人精品一区二区三区四区五区| 夜夜夜夜做天天天做无码视频| 精品九九视频| 精品国产乱码久久久久夜深人妻 | 色婷婷五月综合在线| 天天爽天天摸| a片在线免费观看一区| 操逼棍操逼| 久热伊人在91| 第四色五月婷婷| www九九| 丁香五月久久| 99亚洲精品| 无码激情AAAAA片-区区| 久久99这里| 中文字幕无码人妻少妇免费视频| 色婷五月天激情| 伊人五月网| 久久视频在线| 久久婷婷啪啪视频| 天天操天天插| W色综合| 99超碰人人| 91超级碰| 亚洲色综合性| 欧美成人日韩| 五月婷在线| 婷婷激情五月天激情小说| 色五月婷婷在线| 丁香五月激情婷婷视频| 狠狠干伊人| xxxx久| 国产精品人人做人人爽人人添| 亚洲色就是色色色| 99热久草| 色综合久久88色综合中文字幕| 可以观看的AV| 免费视频无码| 五月天AV大香蕉| 色婷婷六月性| 五月婷婷六月丁香在线视频| 婷婷五月丁香六月| 99色在线观看视频者| 综合久久综合久久| 亚洲九九九九| 大香蕉久| 五月婷婷久草| 色婷婷大香蕉| 97爱艹婷婷开心丁香激情综合| 在线观看免费狠狠色丁香香综合| 狠狠色婷婷丁香六月| www.五月天| 亚洲妇女熟BBW| 人人操女人| 婷婷六月中文字幕| 99无码黄色视频| 极品五月天| 美妞av| 丁香色婷婷五月天| 香蕉久久国产AV一区二区| 玖玖99免费视频| 特级片神马电影| 婷婷99狠狠躁天天躁| 9l视频自拍九色9l黑人| 婷婷丁香六月激情综合| 久热这里只有精品99re| 日韩美女羞羞网站在线观看| 天天射夜夜骑| 亚洲精品又粗又大又爽A片| 中文字幕av亚洲| 丁香五月色情| 欧美交换配乱吟粗大25P| 91久久久久久久91| 五月天六月婷婷电影| 国产 码在线成人网站| 九九热re99re6在线精品| 久久激情五月网| 五月丁香婷婷基地| 婷婷天堂视频| 丁香丝袜五月| 97色色视频| 九九色色网| 日本婷婷五月天| 五月婷婷激情| 久久久久激情| 日本九九视频| 国产人人操| 色综合播放| 99热| www狠狠| 亚洲网站999| 香蕉中文在线| 美女天天爽| 亚洲天堂AV综合网| 99久久九九| 欧美成人AAA片一区国产精品| 超碰在线观看99| 99A级片| 久久宗合影| 亚洲综合激情五月| 成人免费网站免费看| 天天操天天爱天天玩| 精品一二三区久久AAA片| 欧美激情五月天在线观看| 五月天开心网| 自拍偷窥99热| 一级性爱视频| 少妇丁香婷婷 | 99ri在线观看视频| 操99| 激情综合网五月天| 欧美噜噜免费观看| 五月天色不卡| 六月婷婷无码| 99国产精品久久久久久久久久久| 色婷婷视频| 青草视频在线观看视频 | 久热这里只有精品在线观看| 另类激情中文| 色七色九九| 国产精品99久久久久久久女警| ji'qing'luan'ren'lun| 日韩无码AV电影网站| 色狠狠综合| 强奸幻女毛片| 成人开心五月天| 欧美精品久| 91婷婷色 | 五月婷婷六月激情在线| www婷婷色| 婷婷五月激情天| 激情五月色综合网| 五月丁香婷婷色| 热99热| 久久日婷婷| 精品人妻久久久久久| 婷婷六月天天| 亚洲激情av| 99热这里只有国产精品| 九九久久久综合| 婷婷五月天综合久久| 亚洲激情综合网| 日本精品久久久久中文字幕| 五月婷婷在线观看| 亚洲碰碰碰| www.色婷婷.com| 婷婷激情鹿城五月天| 变天就操逼婷婷五月| 婷婷五月丁香色综合| 激情五月天婷婷直播| 五月婷婷激情网| 婷婷五月天黄色小说| 久久精品91视频| 大香蕉久久| ji'qi'luan'ren'lun| 伊人久久大香天蕉亚洲特级| 亚洲操B| 99国产小视频| 婷婷91| 秋霞AV吧| 狠狠综合久久| 国产精品色色色色| 99热99久久| 狠狠精品干练久久久无码中文字幕| 婷婷五月深深爱| 九九色色网| 人妻丰满精品一区二区A片| 日本丁香五月| 色婷婷综合五月| 婷婷六月久久| A久久| WWW.夜夜| 久久99热只有精品| 超碰99热精品| 精品人妻一区二区三区在| 激情綜合網址| 五月丁香婷婷综合网色欲| 五月婷婷色啪| 熟妇人妻中文字幕无码老熟妇| 美国十月色婷婷在线观看| 秋霞午夜理论 | 欧美视频在线观看噜噜| 色五月首页| 97久久婷婷色| 91狠狠综合久久久| www.色色五月天.com| 影音先锋人妻出差| 激情美女五月天| 9l视频自拍九色9l视频在线观看| 色婷婷丁香花五月天| 五月婷婷中文字幕| 丁香六月激情国产| 日本www五月婷婷| 桃色激情五月天| 182tv992tv人之初午夜免费观看| 五五月丁香花激情综合网| 毛v一区二区视频| 久久97久久99久久综合欧美| 伊人五月天在线| 91肏| 五月丁香六月婷婷综合网缴情| 久久五月天激情婷婷| 天堂中文国产| 黄久久久| 9热久久| 久在线综合69| ..真实国产乱子伦毛片| 99视频只有精品| 五月天色色网站| www.minyis.com【JT】实力收量可预付QQ2101460746 | 管管補管管紱| 亚洲成人色五月婷婷综合| 99操免费视频| 丁香五月久久社区| 热99热久| 久久日婷婷| 伊人久久丁香狠狠婷婷综合香蕉| 色五月婷婷网| 99爱在线精品视频免费观看| 丁香五月欧美成人| 九九热这里只有精品6| 天天爽日日爽夜夜爽| 亚洲国产精品成人va在线观看| 98毛片| 做爱夜夜干天天操| 色婷婷狠狠干| 婷婷丁香77777| 婷婷欧美偷拍综合| WWW五月婷婷| 激情综合4月| 天天舔天天插天天爱| 久久无码激情视频| 五月丁香怕怕综合| 久久WW| 婷婷影院欧美| 久久色五月天| 91碰| 婷婷第六色| 青青热久久综合| 久久视频婷婷视频| 久久99久久99精品免视看婷婷| 五月色丁香国产在线视频| 色综合久久天天综合网| 青青热视频| www.金莲av| 天堂美国久久| 一区=区操屄高清大全av| 亞洲自怕| 一区=区操屄高清大全av| 玖色色综合| 久久99精品久久久久子伦| 亚洲天堂制| WWW·色色色·COM| 日韩欧美一级大黄网站| 日日日,com| 26UUU亚洲欧美| 精品网站99| 色婷婷丁香五月天激情综合网| 欧洲综合视频在线观看。欧洲,亚洲综合食品在线观看。 | 婷婷五月无码| 色五月成人| ...婷婷国产成人亚洲日韩| 99热这里只有国产精品| 亚洲综合色色色| AAA久久| 色五月丁香五月激情五月激情| 亚洲开心激情网| 丁香婷婷久久老熟女综合网| 日日操天天爽| 婷婷伊人綜合中文字幕| 99这里只有精品| 婷婷五月天伊人| 日日做A爰片久久毛片A片英语| 1024亚洲无码| 日本系列_4页_777FP| 熟女激情网| 香蕉网婷婷| 69热91天堂| 97操在线视频| 五月天激情视频| 26UUU欧美| 天天综合天综合久久网| 丁香密臀AV激情网| 色青五月天| 午夜婷婷丁香| 久久这里只有欧美| www.婷婷| 色欲一区二区三区精品A片| 啪啪丁香五月| 五月婷婷在线网站| 超碰精品在线| 中文字幕免费高清电视剧| 国内久久久精品99| 777.色色| 久久婷婷五月综合啪| 欧美色骚婷婷五月天 | 天天做天天爱天天爽夜夜揉| 严洲天天插| 婷婷激情性爱| 五月天丁香久久综合| 色久女| 高清激情av在线观看| 夜夜骑天天操| 亚洲亚洲人成综合网络| 五月天婷婷网站888| 久久成人综合五月天| 91人操| 九九热狼人| 久久婷婷五月综合| 人妻无码精品一区| 国产精品99久久久久久久女警| 色五月婷婷天堂| 狠狠色丁婷婷日日,伊人激情综合网 | wwwss在线观看| 婷婷在线播放| 久久久宗合视频88| 99精品在线| 直接看的AV| 亚洲激情四射| 伊人网大香| 桔色成人在线| 亚洲国产精品VA在线看黑人| 玖玖婷婷五月| 五月天夜夜爱夜夜操| 五月婷婷丁香五月| 久热久69| 人人色性网| 亚洲色啪| 91久久电影| 久热这里只有精品在线| 色色色热| 色婷婷黄色网络| 99热99精品| 久久3级片| 狠狠色婷婷丁香六月| 色色色9| 综合久久久| 99这里| 一起操最新网址| 五月天色婷婷小说| 婷婷99狠狠| 久久久久久久五月婷婷六月丁香综合,开心激情综合网 | 在线综合婷婷| 开心激情婷婷| 中文字幕婷婷五月天| 丁香六月久久| 亚洲AV日韩无码| 日韩欧美成人片| 婷香狠狠爱五月| 亚洲天堂aaa| 丁香五月综合狠狠| 色婷激情网| 日本猛少妇色XXXXX猛叫| 五月天婷婷黄色视频| 五月婷婷无码| 日韩xx在线| 五月婷婷真爱激情网| 九97免费视频| 色色 亚洲| 狠色狠色综合久久| 人妻久热| 日本九九九九| 深爱激情网五月天| 大香蕉久久久久| 少妇AB又爽又紧无码网站| 最新亚洲色色网| wwwav大香蕉| 五月婷婷丁香色吧网| 99热碰碰| 免费视频WWW在线观看网站| 色综合久久88色综合天天99| 婷婷成人在线| www.天天干| 婷婷色色网| 中文字幕丰满孑伦无码专区| 色久影院| 五月丁香影视| 殴美综合激情五月天免费视频| 97色碰| 成人做爰A片免费看网站找不到了| 狠狠色婷婷在线| 国产毛片精品一区二区色欲黄A片| 久久色在线视频| 99精品色| 五月丁香999| 亚洲成人AV电影在线| 色婷婷基地在线| 国产精产国品一二三在观看| 五月激激网w'w'w| 五月天丁香婷婷网| 五月丁香六月婷婷综合网站| 大香蕉久久婷婷精品综合| 91碰| 日日夜夜狠狠婷婷色| 五月婷婷天| 深情六月婷婷综合久久| 国产成人AV| 六月色色综合| 97色综合| 婷婷五月天综合久久| 精品久色| 丁香五月成人| 天插天啪天啪天啪| 精品国婬伦V无码久久久| 国产精品美女| 激情久久综合| 青青草视频免费观看| 亚洲AV色婷婷人禽五月天| 亚洲人妻Av| WWW.桔色成人.COM| 免费成人va| 色五月丁香91| 婷婷五月天国产在线播放| 亚洲av网站| 精品无码久久久久久久久 | 五月天综合婷婷| 爆乳熟女一区二区三区爆乳| 超碰九九热| 色播五月天天| 综合玖玖偷拍| 激情五月综合网| 欧洲激情五月天| 色蜜婷婷| 精品一二三区久久AAA片| 亚洲色在线观看| 97人人草| 婷婷97C| 婷婷狠狠操| 玖玖资源站蜜臀| 中文字幕综合网| 久草婷婷网| 99热e| 天天色色婷婷| 五月婷在线影院| 色噜噜丁香| 人人澡玖玖一| 色爱终和网| 97人人干| 亚洲国产另类av| 丁香六月激情综合| 婷婷成人五月天| 先锋资源996| 91人人澡人人爽人人看| 99在线精品免费视频| 五月丁香成人| 欧美一区二区三区不卡影视| 国产视频福利| 丁香五月婷婷基地| 色色婷婷丁香五月天| 狠狠擼综合| 色欲天天综合网| 国产女人十八水真多1| 亚洲中文字幕在线观看| 激情图片婷婷| 婷婷五月天激情诱惑| 亚洲激情无码久久| 九九色影院| 玖玖婷婷视频| 婷婷日本在线| 国产AV一区二区三区日韩| 9久视频| 这里只有精彩视频| 狠狠操性爱av| 亚洲激情高潮| 色婷婷五月影视| 琪琪色热色色| 超色欲天天| seuuu婷婷| 狠狠精品干练久久久无码中文字幕| 五月婷婷偷拍| 色婷婷综合影院| 深爱激情网综合| 亚洲激情区| 天堂爱爱| 夜夜涩涩涩| 丁香五月激情棕合| www.9797国产| 亚洲精品又粗又大又爽A片| 亚洲婷婷丁香五月| 丁香五月婷婷色| 九九成人电影婷婷| 五月婷婷天天色| 一级黄色影片| 99玖玖在线视频| 狠狠操天天日| 欧美成人AAA片一区国产精品| 超碰9| 亚洲av电影在线| 婷婷五月激情网站| 久久婷婷五月天| 精热在线综合网| 久99视频在线观看| 99热只有| 99久久婷| 日日噜狠狠色| 99久久超级| 99视频这里只有免费精品| 激情婷婷六月天| 五月婷色丁香| 99热这里只有精品国产首页| 成人网址在线观看| 亚洲综合成人网| 婷婷五月天激情网| 99热这里只有精品22| 九九久久五月天| 99ri精品视频在线观看| 六月99天天婷婷激情综合| 乱码操操| 97热精品| 婷婷五月丁香啪啪| 日韩成人电影AV| 99热.com| 五月婷婷综合在线| 综合久| 欧美色婷婷| 国产成人精品一区二三区熟女在线| 久久9视频| 婷婷99狠狠躁天天躁| WWW.桔色成人.COM| www.9操| 超碰人人妻| 一区二区三区四区牛| 九九热99视频在线| 成人网址在线观看| 亚洲五月天天| 九九热99精品在线| 黄页大全十八禁| 丁香五月天色婷婷| 婷婷伊人网| 99性爱| 男人大jjc女人免费视频| 丁香五月婷婷香| a九九热www| 《战争与艾拉》完整版| 五月丁香人人婷婷在线观看| 婷婷五月激情视频在线| 五月丁香色| 成人短视频在线观看| 碰碰碰97国产| 99久久精彩视频| 久热这里只有国产| 婷婷五月综合在线视频| 色综合伊人网| 综合激情五月天| 婷婷五月花| 婷婷字幕在线| 伊人久久大香线蕉av一区| 深爱激情网五月| 六月色婷婷欧美| 狠狠插狠狠插| 99久久性爱| 婷婷五月精品| 内射综合网| 欧美天天干五月丁香| 丁香色婷婷五月天| 久热超碰| 天天干人人奸97| 十区AV| ,99视频久久| 丁香婷婷久久老熟女综合网| 色五月av| 欧美顶级少妇做爰HD| 色婷婷女优有码五月亭| 色狠狠五月天| 99热12| 五月婷婷丁香| 色五月婷婷青娱乐| 婷婷亚洲五| 狠狠五月激情丁香六月| 人妻精品一区二区三区| 99操不停| 快乐激情五月色婷婷| 精品久久艹| 亚洲国产精品VA在线看黑人 | 欧美日韩国产一区二区| 精品国产va久| 婷婷五月综合亚洲| 国产SUV精品一区二区6| 欧美色99| 色色色视频| 欧美激情综合色综合啪啪五月| 夫妇交换刺激做爰| 丁香五月欧美色综合| 国产精品大香蕉| 婷婷五月天激情五月天深爱五月天| 激情五月婷婷| 五月丁香六月婷婷久久肏| 综合激情五月丁香| 婷婷六月丁香五月| 少妇性按摩无码中文A片| 97碰碰在线看视频免费| 亚洲色情免费网| 国产精品色婷婷99久久精品| 开心色色五月天综合| 五月天啪啪| 五月久久丁香| 五月丁香成人网| 丁香九月婷婷综合| 婷婷五月综合视频免费播放| 五月丁香综合激情| 婷婷亚洲影院| 五月婷婷在线视频观看| 天堂久久久久天堂网| 伊人久久大香线蕉av最新| 色情五月天A片| 久久香蕉影院| 丁香五月婷婷99| 操一操| 亲子乱AV一区二区三区下载| 日噜噜色| 狠狠人妻久久久久久综合丁香| 成人片黄网站色大片免费毛片| 亚洲中文乱字字幕在线永久| 五月丁香六月婷婷综合| 丁香婷婷色五月天| 丰满人妻一区二区三区| 蜜臀av粉嫩av懂色av| 舔色婷婷| 国模狼狼| 新激情五月天色播| 天堂成人A片永久免费网站| www.婷婷五月| 大香蕉五月婷婷| 婷婷 丁香 久久| 婷婷五月图片小说视频| 国产一二区爆乳_1国产日韩一区二区三-成人AV | 99热这里只有精品无码| 五月丁香久久| 婷婷在线观看五月天在线视频| 一本色道久久综合狠狠躁小说| 久久精品一区二区三区四区| 亚洲视频a| 五月丁香六月婷综合成人综合| 99人人精品| 五月婷婷丁香婷婷| 婷婷五月天涩涩| 激情丁香六月| 五月婷婷欧洲| 伊人狠狠操| 欧美性爱5月天天天看| 色九月婷婷综合| 99热最新国内| 91狠狠综合久久久| www、色色色| 99免费视频| 97色婷婷五月天| 五月婷婷五月天| 91制片厂久久久国产电影| www99精品| 99热都是精品| 亚洲精品久久久无码| www.99色| 91人妻PORNY九色大屁股| 色播激情| 六月激情婷婷综合| 亚洲精品色| 黄网免费观看| 久热亚洲| 五月婷婷六月丁| 饮料下药迷倒漂亮女同事强干| 日操夜操天天操不卡| 99热一区| 天天日天天舔天天摸| 丁香五月色| 久操热| 中文字幕激情综合| 国自产拍偷拍精品啪啪一区二区| 色婷精品91| 婷色五月| 99精品在线观看| 欧美婷婷丁香社区在线播放| 久久久激情视频| 青青草日本亚洲| 日本片日本片祼观看网站在线看中文版网页在线看 | 97性视频| 丁香色六月婷婷| 六月色婷婷| 丁香六月色婷婷综合| 久久九⑨| 91玖玖| 久久杏爱视频| 伊人五月久久| aaaa久久| 免费亚洲婷婷| 百度4399有码精品V在线观看 | 啪啪视频99| 天天干天天操| 黑人无码一区| 五月丁香色情| 婷婷五月丁香香蕉| 亚洲操操操| 久热这里只有精品6| 99re最新地址视频| 五月天播播| 午夜一区| 五月婷婷综合网| 狠狠干狠狠色| www99热| 无码少妇高潮喷水A片免费| www.夜夜操| 中文字幕日产A片在线看| jiZZdr|