欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

CANN ops-transformer 中 ApplyRotaryPosEmbGrad 算子詳解:雙路旋轉(zhuǎn)位置編碼反向計(jì)算的融合實(shí)現(xiàn)與調(diào)用指南

CANN ops-transformer 中 ApplyRotaryPosEmbGrad 算子詳解:雙路旋轉(zhuǎn)位置編碼反向計(jì)算的融合實(shí)現(xiàn)與調(diào)用指南 CANN ops-transformer 中 ApplyRotaryPosEmbGrad 算子詳解雙路旋轉(zhuǎn)位置編碼反向計(jì)算的融合實(shí)現(xiàn)與調(diào)用指南【免費(fèi)下載鏈接】ops-transformer本項(xiàng)目是CANN提供的transformer類大模型算子庫(kù)實(shí)現(xiàn)網(wǎng)絡(luò)在NPU上加速計(jì)算。項(xiàng)目地址: https://gitcode.com/cann/ops-transformerApplyRotaryPosEmbGrad 是 CANN ops-transformer 算子庫(kù)中旋轉(zhuǎn)位置編碼RoPERotary Position Embedding系列的反向算子它將 query 與 key 兩路的 RoPE 梯度計(jì)算融合進(jìn)一次 kernel 調(diào)用同時(shí)可選輸出 cos/sin 的梯度。本文以 README 為主體結(jié)合倉(cāng)庫(kù)內(nèi) aclnn 接口文檔、PyTorch 封裝、tiling 與 kernel 源碼完整講解該算子的數(shù)學(xué)原理、參數(shù)約束、兩種調(diào)用方式以及底層多模板調(diào)度實(shí)現(xiàn)幫助你直接上手訓(xùn)練場(chǎng)景下的 RoPE 反向計(jì)算。一、算子功能與應(yīng)用場(chǎng)景該算子是雙路旋轉(zhuǎn)位置編碼算子 ApplyRotaryPosEmb 的反向算子核心功能如下執(zhí)行雙路反向計(jì)算同時(shí)計(jì)算query和key的 rope 反向梯度融合為一次 kernel 調(diào)用節(jié)省開(kāi)銷相比分別對(duì) query、key 各執(zhí)行一次反向 kernel融合實(shí)現(xiàn)節(jié)省了 cos/sin 的重復(fù)加載和 kernel launch 開(kāi)銷可選計(jì)算 cos/sin 梯度當(dāng)正向輸入query、key同時(shí)傳入時(shí)額外計(jì)算grad_cos與grad_sin供需要更新 cos/sin 參與反傳的場(chǎng)景使用。從產(chǎn)品支持情況看該算子目前僅面向Ascend 950PR / Ascend 950DT產(chǎn)品即源碼配置目錄 config/ascend950 對(duì)應(yīng)的 SoCAtlas A2/A3、Atlas 200I/500 A2、Atlas 推理/訓(xùn)練系列等產(chǎn)品均不支持。表格如下產(chǎn)品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 訓(xùn)練系列產(chǎn)品/Atlas A3 推理系列產(chǎn)品×Atlas A2 訓(xùn)練系列產(chǎn)品/Atlas A2 推理系列產(chǎn)品×Atlas 200I/500 A2 推理產(chǎn)品×Atlas 推理系列產(chǎn)品×Atlas 訓(xùn)練系列產(chǎn)品×二、數(shù)學(xué)原理與計(jì)算公式旋轉(zhuǎn)位置編碼RoPE的核心思想是在 Head-Dim 維度上將每個(gè)頭的向量按 D/2 拆成前后兩半通過(guò) cos/sin 旋轉(zhuǎn)矩陣完成位置信息注入。反向計(jì)算即對(duì)該旋轉(zhuǎn)過(guò)程求導(dǎo)。取正向計(jì)算中cos、sin發(fā)生 broadcast 的軸列表為dims即 cos/sin 中取值為 1、而grad_query_embed/grad_key_embed中對(duì)應(yīng)維度大于 1 的軸包含 N 軸以及 BSND、SBND 布局下可選的 B 軸rotary_mode為half時(shí)的計(jì)算公式如下。1對(duì)輸入梯度做末維對(duì)半切分$$ grad_q_1, grad_q_2 chunk(grad_query_embed, chunks2, dim-1) $$$$ grad_k_1, grad_k_2 chunk(grad_key_embed, chunks2, dim-1) $$$$ cos_1, cos_2 chunk(cos, chunks2, dim-1) $$$$ sin_1, sin_2 chunk(sin, chunks2, dim-1) $$2構(gòu)造旋轉(zhuǎn)后的正向向量用于 cos/sin 梯度$$ query_rotate cat((-query_2, query_1), dim-1) $$$$ key_rotate cat((-key_2, key_1), dim-1) $$3計(jì)算 query/key 的梯度$$ grad_query cat(cos_1 * grad_q_1 sin_2 * grad_q_2, cos_2 * grad_q_2 - sin_1 * grad_q_1, dim-1) $$$$ grad_key cat(cos_1 * grad_k_1 sin_2 * grad_k_2, cos_2 * grad_k_2 - sin_1 * grad_k_1, dim-1) $$4當(dāng)同時(shí)傳入 query 和 key 時(shí)沿廣播軸 dims 歸約得到 cos/sin 梯度$$ grad_cos sum(grad_query_embed * query grad_key_embed * key, dims) $$$$ grad_sin sum(grad_query_embed * query_rotate grad_key_embed * key_rotate, dims) $$倉(cāng)庫(kù)中的測(cè)試 golden 腳本 tests/assets/golden.py 以注釋形式完整復(fù)現(xiàn)了上述公式并注明“所有路徑統(tǒng)一升 FP32 計(jì)算結(jié)果轉(zhuǎn)回輸入 dtype”可供理解參考。三、參數(shù)說(shuō)明各參數(shù)的完整說(shuō)明如下表參數(shù)名輸入/輸出/屬性描述數(shù)據(jù)類型數(shù)據(jù)格式grad_query_embed輸入正向輸出 query 的導(dǎo)數(shù)對(duì)應(yīng)公式中 $grad_q_{embed}$。BFLOAT16、FLOAT16、FLOAT32NDgrad_key_embed輸入正向輸出 key 的導(dǎo)數(shù)對(duì)應(yīng)公式中 $grad_k_{embed}$。BFLOAT16、FLOAT16、FLOAT32NDcos輸入正向計(jì)算輸入 cos需與 grad_query_embed 數(shù)據(jù)類型一致。BFLOAT16、FLOAT16、FLOAT32NDsin輸入正向計(jì)算輸入 sin需與 grad_query_embed 數(shù)據(jù)類型一致。BFLOAT16、FLOAT16、FLOAT32NDquery可選輸入正向計(jì)算輸入 query。如果為空指針則不計(jì)算 grad_cos 和 grad_sin必須與 key 同時(shí)傳入或同時(shí)不傳入。BFLOAT16、FLOAT16、FLOAT32NDkey可選輸入正向計(jì)算輸入 key。如果為空指針則不計(jì)算 grad_cos 和 grad_sin必須與 query 同時(shí)傳入或同時(shí)不傳入。BFLOAT16、FLOAT16、FLOAT32NDrotary_mode屬性旋轉(zhuǎn)模式僅支持 half。STRING-layout屬性輸入 Tensor 的布局格式。1BSND2SBND4TND。默認(rèn)值為 1。INT64-grad_query輸出正向計(jì)算輸入 query 的導(dǎo)數(shù)shape 與 grad_query_embed 相同。BFLOAT16、FLOAT16、FLOAT32NDgrad_key輸出正向計(jì)算輸入 key 的導(dǎo)數(shù)shape 與 grad_key_embed 相同。BFLOAT16、FLOAT16、FLOAT32NDgrad_cos輸出正向計(jì)算輸入 cos 的導(dǎo)數(shù)僅當(dāng) query 和 key 非空時(shí)有效。BFLOAT16、FLOAT16、FLOAT32NDgrad_sin輸出正向計(jì)算輸入 sin 的導(dǎo)數(shù)僅當(dāng) query 和 key 非空時(shí)有效。BFLOAT16、FLOAT16、FLOAT32ND關(guān)于 layout 的補(bǔ)充說(shuō)明BBatch批量大小SSeq-Length序列長(zhǎng)度NHead-Num多頭數(shù)DHead-Dim每個(gè)頭的隱藏維度大小TB 和 S 的合軸layout4時(shí)輸入為 3 維 Tensor其他 layout 下為 4 維。從 算子定義源碼 可以看到host 側(cè)注冊(cè)的輸入輸出 dtype 均為DT_FLOAT16 / DT_FLOAT / DT_BF16格式為FORMAT_ND屬性默認(rèn)值分別為rotary_modehalf、layout1與上述參數(shù)表完全對(duì)應(yīng)同時(shí)注冊(cè)了DynamicCompileStaticFlag / DynamicRankSupportFlag / DynamicShapeSupportFlag表明算子支持動(dòng)態(tài) shape。四、約束說(shuō)明輸入輸出 Tensor 只支持 3 維或 4 維layout 為 1 或 2 時(shí)為 4 維layout 為 4 時(shí)為 3 維。輸入輸出 Tensor 的 dtype 必須相同。輸入輸出 Tensor 不支持空 Tensor各維度必須大于 0。輸入輸出 Tensor 的 layout 必須相同。輸入輸出 Tensor 的 D 軸必須相同在 half 模式下必須 ≤ 1024 且能被 2 整除。grad_query_embed、grad_query的 shape 必須相同grad_key_embed、grad_key的 shape 必須相同。對(duì)于任意 layoutgrad_query_embed和grad_key_embed除 N 維度外其它維度必須相同。cos、sin的 N 維度必須等于 1layout 為 1BSND或 2SBND時(shí)cos、sin的 B 維度可以等于 1也可以和grad_query_embed的 B 維度一致layout 為 4TND時(shí)cos、sin的 T 維度必須和grad_query_embed的 T 維度一致除 N及 BSND、SBND 布局下可選廣播的 B維度外其余維度需與grad_query_embed一致。cos、sin、grad_cos、grad_sin的 shape 必須相同。query維度需與grad_query_embed一致key維度需與grad_key_embed一致且query和key必須同時(shí)傳入或同時(shí)不傳入。rotary_mode僅支持 half。layout僅支持 {1, 2, 4}對(duì)應(yīng) {BSND, SBND, TND}。3BNSD 為預(yù)留暫不支持。這些約束在 tiling 源碼中均有對(duì)應(yīng)的顯式校驗(yàn)。例如 apply_rotary_pos_emb_grad_tiling.cpp 中CheckRotaryModeShapeRelation()校驗(yàn) D 軸≤ 1024D_LIMIT且% 2 0HALF_MODE_COEFValidateBroadcastByLayout()按 BSND/SBND/TND 分別校驗(yàn) cos/sin 的 B/S/T 與 N 軸廣播關(guān)系TND 下 cos 的 T 軸必須等于 grad_query_embed 的 TN 軸必須為 1BSND/SBND 下 cos 的 B 軸必須為 1 或等于輸入 BS 軸必須一致CheckShape()校驗(yàn)grad_query_embed與grad_key_embed除 N 軸4D 布局下的 dim 2外各維度相同CheckOptionalInput()校驗(yàn) query 與 grad_query_embed、key 與 grad_key_embed、cos 與 grad_cos、sin 與 grad_sin 的 shape 全等。五、aclnn 調(diào)用方式兩段式接口aclnn 調(diào)用遵循 CANN 單算子調(diào)用的兩段式接口規(guī)范必須先調(diào)用第一段aclnnApplyRotaryPosEmbGradGetWorkspaceSize完成入?yún)⑿r?yàn)并計(jì)算 workspace 大小再調(diào)用第二段aclnnApplyRotaryPosEmbGrad執(zhí)行計(jì)算。函數(shù)原型如下aclnnStatus aclnnApplyRotaryPosEmbGradGetWorkspaceSize( const aclTensor *gradQueryEmbed, const aclTensor *gradKeyEmbed, const aclTensor *cos, const aclTensor *sin, const aclTensor *queryOptional, const aclTensor *keyOptional, char *rotaryModeOptional, int64_t layout, const aclTensor *gradQueryOut, const aclTensor *gradKeyOut, const aclTensor *gradCosOut, const aclTensor *gradSinOut, uint64_t *workspaceSize, aclOpExecutor **executor)aclnnStatus aclnnApplyRotaryPosEmbGrad( void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)5.1 第一段接口參數(shù)與返回值第一段接口的參數(shù)細(xì)節(jié)完整見(jiàn) aclnnApplyRotaryPosEmbGrad 接口文檔參數(shù)名輸入/輸出描述使用說(shuō)明數(shù)據(jù)類型維度(shape)非連續(xù)TensorgradQueryEmbed輸入正向輸出 query 的導(dǎo)數(shù)對(duì)應(yīng) grad_q_embed不支持空 TensorBFLOAT16/FLOAT16/FLOAT324(layout 1/2)或 3(layout 4)√gradKeyEmbed輸入正向輸出 key 的導(dǎo)數(shù)對(duì)應(yīng) grad_k_embed與 gradQueryEmbed 類型和維度一致不支持空 Tensor同上同上√cos輸入正向計(jì)算輸入 cos與 gradQueryEmbed 類型和維度一致N 維必須為 1同上同上√sin輸入正向計(jì)算輸入 sin與 gradQueryEmbed 類型和維度一致N 維必須為 1同上同上√queryOptional可選輸入正向輸入 query空指針時(shí)不計(jì)算 gradCos/gradSin與 keyOptional 必須同時(shí)傳入或同時(shí)不傳同上同上√keyOptional可選輸入正向輸入 key空指針時(shí)不計(jì)算 gradCos/gradSin與 queryOptional 必須同時(shí)傳入或同時(shí)不傳同上同上√rotaryModeOptional輸入旋轉(zhuǎn)模式僅支持 halfSTRING--layout輸入輸入 Tensor 布局1-BSND2-SBND4-TND3-BNSD(預(yù)留)INT64--gradQueryOut輸出query 的導(dǎo)數(shù)與 gradQueryEmbed 類型和維度一致同上同上×gradKeyOut輸出key 的導(dǎo)數(shù)與 gradQueryEmbed 類型和維度一致同上同上×gradCosOut輸出cos 的導(dǎo)數(shù)query/key 非空時(shí)有效與 gradQueryEmbed 類型和維度一致同上同上×gradSinOut輸出sin 的導(dǎo)數(shù)query/key 非空時(shí)有效與 gradQueryEmbed 類型和維度一致同上同上×workspaceSize輸出Device 側(cè)需申請(qǐng)的 workspace 大小----executor輸出op 執(zhí)行器包含算子計(jì)算流程----第一段接口完成入?yún)⑿r?yàn)出現(xiàn)以下場(chǎng)景時(shí)報(bào)錯(cuò)具體錯(cuò)誤碼定義見(jiàn) aclnn 返回碼返回值錯(cuò)誤碼描述ACLNN_ERR_PARAM_NULLPTR161001必選輸入 gradQueryEmbed、gradKeyEmbed、cos、sin 和必選輸出 gradQueryOut、gradKeyOut 是空指針ACLNN_ERR_PARAM_INVALID161002輸入輸出數(shù)據(jù)類型/格式不在支持范圍、shape 不滿足校驗(yàn)、維度不在支持范圍、queryOptional 與 keyOptional 未成對(duì)傳入、或 rotaryMode/layout 不符合支持值第二段接口接收workspace、workspaceSize、executor與stream四個(gè)參數(shù)workspace為 Device 側(cè)申請(qǐng)的臨時(shí)內(nèi)存地址workspaceSize由第一段接口計(jì)算得出executor為第一段接口返回的 op 執(zhí)行器stream指定任務(wù)執(zhí)行的 Stream 流。注意第二段接口不可重復(fù)調(diào)用每次執(zhí)行需重新走兩段式流程。5.2 完整調(diào)用示例倉(cāng)庫(kù)提供了可參考的完整示例 examples/test_aclnn_apply_rotary_pos_emb_grad.cpp核心流程如下編譯與運(yùn)行方法參考編譯與運(yùn)行樣例#include acl/acl.h #include aclnnop/aclnn_apply_rotary_pos_emb_grad.h #include iostream #include vector // 1. 資源初始化aclInit / aclrtSetDevice / aclrtCreateStream固定寫(xiě)法 // 2. 構(gòu)造輸入輸出以 BSND layout、D128 為例 std::vectorint64_t gradQEmbedShape {1, 1, 1, 128}; std::vectorint64_t gradKEmbedShape {1, 1, 1, 128}; std::vectorint64_t cosShape {1, 1, 1, 128}; // N 維必須為 1 std::vectorint64_t sinShape {1, 1, 1, 128}; std::vectorint64_t queryShape {1, 1, 1, 128}; std::vectorint64_t keyShape {1, 1, 1, 128}; std::vectorint64_t gradQueryOutShape {1, 1, 1, 128}; std::vectorint64_t gradKeyOutShape {1, 1, 1, 128}; std::vectorint64_t gradCosOutShape {1, 1, 1, 128}; std::vectorint64_t gradSinOutShape {1, 1, 1, 128}; int64_t layout 1; // BSND const char *rotaryModeOptional half; // 通過(guò) aclrtMalloc aclrtMemcpy 將 host 數(shù)據(jù)搬入 device // 再以 aclCreateTensor(..., ACL_FORMAT_ND, ...) 構(gòu)造各 aclTensor // 3. 第一段接口計(jì)算 workspace 大小并創(chuàng)建 executor uint64_t workspaceSize 0; aclOpExecutor *executor; ret aclnnApplyRotaryPosEmbGradGetWorkspaceSize( gradQueryEmbed, gradKeyEmbed, cos, sin, query, key, const_castchar *(rotaryModeOptional), layout, gradQueryOut, gradKeyOut, gradCosOut, gradSinOut, workspaceSize, executor); // 4. 按 workspaceSize 申請(qǐng) device 內(nèi)存 void *workspaceAddr nullptr; if (workspaceSize 0) { ret aclrtMalloc(workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); } // 5. 第二段接口執(zhí)行計(jì)算 ret aclnnApplyRotaryPosEmbGrad(workspaceAddr, workspaceSize, executor, stream); // 6. 同步并取回結(jié)果 ret aclrtSynchronizeStream(stream); ret aclrtMemcpy(resultData.data(), ..., gradQueryOutDeviceAddr, ..., ACL_MEMCPY_DEVICE_TO_HOST); // 7. 釋放 aclTensor、device 內(nèi)存與 stream示例中 shape 均取{1, 1, 1, 128}BSN1、D128滿足 D ≤ 1024 且可被 2 整除query/key 同時(shí)傳入以觸發(fā) grad_cos/grad_sin 計(jì)算。實(shí)際使用時(shí)可根據(jù)模型配置替換為 BSND、SBND 或 TND 布局并注意 cos/sin 的 N 維必須為 1。六、PyTorch API 調(diào)用方式PyTorch 側(cè)封裝位于 torch_extension/apply_rotary_pos_emb_grad.py通過(guò)torch.library注冊(cè)自定義算子并以PrivateUse1后端分發(fā)到 NPU。函數(shù)原型如下完整文檔見(jiàn) torchapi_apply_rotary_pos_emb_gradcann_ops_transformer.apply_rotary_pos_emb_grad( grad_query_embed, grad_key_embed, cos, sin, *, queryNone, keyNone, rotary_modehalf, layout1, ) - (Tensor, Tensor, Optional[Tensor], Optional[Tensor])6.1 參數(shù)說(shuō)明參數(shù)名參數(shù)類型可選/必選描述數(shù)據(jù)類型維度(shape)grad_query_embedTensor必選正向輸出query_out的梯度bfloat16、float16、float32layout4 時(shí)為 (T, Nq, D)其他 layout 下為 4 維 Tensorgrad_key_embedTensor必選正向輸出key_out的梯度除 N 維度外 shape 需與 grad_query_embed 一致同 grad_query_embedlayout4 時(shí)為 (T, Nk, D)其他 layout 下為 4 維 TensorcosTensor必選正向計(jì)算輸入的余弦值張量N 維度必須等于 1同 grad_query_embed與輸入布局對(duì)應(yīng)的 3 維或 4 維 TensorsinTensor必選正向計(jì)算輸入的正弦值張量shape 需與 cos 一致同 grad_query_embed同 cosqueryTensor可選正向計(jì)算輸入 query傳入時(shí)計(jì)算 grad_cos 和 grad_sin必須與 key 同時(shí)傳入或同時(shí)不傳入默認(rèn) None同 grad_query_embed與 grad_query_embed 一致keyTensor可選正向計(jì)算輸入 key傳入時(shí)計(jì)算 grad_cos 和 grad_sin必須與 query 同時(shí)傳入或同時(shí)不傳入默認(rèn) None同 grad_query_embed與 grad_key_embed 一致rotary_modestr可選旋轉(zhuǎn)編碼模式僅支持 half默認(rèn) half--layoutint可選1 表示 BSND2 表示 SBND4 表示 TND默認(rèn) 1--返回值說(shuō)明grad_queryTensor正向輸入 query 的梯度shape 和數(shù)據(jù)類型與 grad_query_embed 一致grad_keyTensor正向輸入 key 的梯度shape 和數(shù)據(jù)類型與 grad_key_embed 一致grad_cosOptional[Tensor]正向輸入 cos 的梯度query 和 key 均傳入時(shí) shape 與 cos 一致否則為Nonegrad_sinOptional[Tensor]正向輸入 sin 的梯度query 和 key 均傳入時(shí) shape 與 sin 一致否則為None。封裝源碼中的_check_inputs函數(shù)在 Python 側(cè)提前完成了與上節(jié)約束一致的校驗(yàn)dtype 僅支持 float16/float32/bfloat16 且必須一致、維度必須為 3 或 4、TND(4) 布局要求 3 維輸入、query/key 必須成對(duì)出現(xiàn)、query 與 grad_query_embed shape 相等、key 與 grad_key_embed shape 相等、rotary_mode 僅支持 half 等。Meta 實(shí)現(xiàn)apply_rotary_pos_emb_grad_meta則負(fù)責(zé) shape/dtype 推導(dǎo)支撐 Autograd 與 FakeTensor 場(chǎng)景。6.2 單算子模式調(diào)用示例import torch import torch_npu from cann_ops_transformer.ops import apply_rotary_pos_emb_grad torch_npu.npu.set_device(0) B 1 S 64 N 8 D 128 grad_query_embed torch.randn(B, S, N, D, devicenpu, dtypetorch.float16) grad_key_embed torch.randn(B, S, N, D, devicenpu, dtypetorch.float16) cos torch.randn(B, S, 1, D, devicenpu, dtypetorch.float16) # N 維為 1可廣播 sin torch.randn(B, S, 1, D, devicenpu, dtypetorch.float16) query torch.randn(B, S, N, D, devicenpu, dtypetorch.float16) key torch.randn(B, S, N, D, devicenpu, dtypetorch.float16) grad_query, grad_key, grad_cos, grad_sin apply_rotary_pos_emb_grad( grad_query_embed, grad_key_embed, cos, sin, queryquery, keykey, rotary_modehalf, layout1, # BSND ) print(fgrad_query shape: {grad_query.shape}) print(fgrad_key shape: {grad_key.shape}) print(fgrad_cos shape: {grad_cos.shape}) print(fgrad_sin shape: {grad_sin.shape})該示例展示了 BSND 布局下帶 cos/sin 梯度的完整調(diào)用cos/sin取(B, S, 1, D)N 維為 1 從而沿 N 軸廣播若不需要 grad_cos/grad_sin將query、key均置為None即可返回的 grad_cos/grad_sin 為None。6.3 與正向算子的配套使用該算子為 apply_rotary_pos_emb 的反向算子。正向接口使用rotary_modehalf時(shí)對(duì) loss 執(zhí)行.backward()會(huì)自動(dòng)觸發(fā)本算子僅在需要顯式控制梯度時(shí)才需要手動(dòng)調(diào)用本接口。該接口支持訓(xùn)練場(chǎng)景下單算子模式調(diào)用且默認(rèn)支持確定性計(jì)算aclnn 與 torch API 文檔均明確標(biāo)注“默認(rèn)確定性實(shí)現(xiàn)”。七、底層實(shí)現(xiàn)從算子定義到多模板調(diào)度7.1 算子定義與 shape 推導(dǎo)apply_rotary_pos_emb_grad_def.cpp注冊(cè) 6 個(gè)輸入grad_query_embed、grad_key_embed、cos、sin 為 REQUIREDquery、key 為 OPTIONAL、4 個(gè)輸出grad_query、grad_key 為 REQUIREDgrad_cos、grad_sin 為 OPTIONALdtype 支持 FLOAT16/FLOAT/BF16格式統(tǒng)一 ND并聲明DynamicCompileStaticFlag(true)、DynamicRankSupportFlag(true)、DynamicShapeSupportFlag(true)AICore 配置僅注冊(cè) ascend950。apply_rotary_pos_emb_grad_infershape.cppgrad_query 繼承 grad_query_embed 的 shape、grad_key 繼承 grad_key_embed 的 shape、grad_cos 繼承 cos 的 shape、grad_sin 繼承 sin 的 shapeSetGradOutputShapedtype 同理逐輸出透?jìng)鲃?dòng)態(tài) shape 下以 -2unknown rank/-1unknown dim占位。7.2 tiling 階段的廣播判定與三模板調(diào)度tiling 核心邏輯位于 apply_rotary_pos_emb_grad_tiling.cpp 及三個(gè)模板實(shí)現(xiàn)文件_bab/_ab/_a。host 側(cè)先執(zhí)行一整套參數(shù)校驗(yàn)dtype、維度、D 軸上限與奇偶、cos/sin 廣播關(guān)系、query/key 成對(duì)性等隨后按 shape 關(guān)系判定內(nèi)部ApplyRopeGradLayoutTND 布局3 維輸入退化為 B1 的 BSND 處理若 N1 則走 NO_BROADCASTA 模板BSND 布局cos 的 B 軸等于 1 時(shí)進(jìn)入 BSND 廣播BAB 模板cos 的 B 軸與輸入 B 一致時(shí)進(jìn)入 SBNDAB 模板若 cos 與輸入各維度完全一致含 gk 的 N 軸則判定為無(wú)廣播A 模板SBND 布局shape 完全一致時(shí)回落 NO_BROADCASTA 模板否則按 AB 模板處理。最終通過(guò)三種 kernel tiling key 調(diào)度見(jiàn) apply_rotary_pos_emb_grad_apt.cpp 中的枚舉Tiling Key枚舉值適用場(chǎng)景TILING_KEY_BAB203BSND 布局 cos B 軸1B/S/N 三層廣播迭代TILING_KEY_AB204SBND 布局或 BSND 下 cos B 軸與輸入一致TILING_KEY_A205無(wú)廣播shape 完全一致最簡(jiǎn)路徑7.3 kernel 執(zhí)行流程與 workspacekernel 側(cè)以__global__ __aicore__模板函數(shù)實(shí)現(xiàn)AIC 核直接返回、僅 AIV 核執(zhí)行。計(jì)算分為兩個(gè) PhasePhase 1計(jì)算 grad_query / grad_key。BAB/AB 模板下若同時(shí)需要 grad_cos/grad_sinDcosFlag1會(huì)在 kernel 內(nèi)同步累加 grad_cos/grad_sin 的部分積并寫(xiě)入 workspaceA 模板則分三個(gè)階段先算 dx再預(yù)計(jì)算rotate(query)/rotate(key)寫(xiě)入 workspace最后通過(guò)ApplyDcosDsin高層 Mul 與 Q/K 累加直接寫(xiě)回 GM。Phase 2Reduce 歸約。僅廣播模板BAB/AB需要——將 Phase 1 產(chǎn)生的 dcos/dsin 部分積沿廣播軸N 軸等跨核歸約得到最終的 grad_cos/grad_sinA 模板因無(wú)廣播無(wú)需 Reduce。workspace 大小由 tiling 計(jì)算并寫(xiě)入 tiling datausrWorkSpaceSize b * s * max(nQ, nK) * d * partialTypeSize * INPUT_OUTPUT_NUM兩份部分積廣播模板下 partialTypeSize 為 float 大小A 模板還有 16MB 的系統(tǒng) workspace 預(yù)留這與第一段接口返回的workspaceSize直接對(duì)應(yīng)。7.4 配置與測(cè)試驗(yàn)證算子二進(jìn)制按 dtype 拆分為三個(gè) binApplyRotaryPosEmbGrad_1/2/3對(duì)應(yīng) float16/bfloat16/float32見(jiàn) apply_rotary_pos_emb_grad_binary.json單測(cè)覆蓋 infershape 與 tiling 校驗(yàn)邏輯tests/ut/op_hostkernel 級(jí) UT 直接包含_apt.cpp源碼完成模板實(shí)例化覆蓋 BAB/AB/A 三條路徑tests/ut/op_kernel/arch35/test_apply_rotary_pos_emb_grad.cpp多路徑 golden 腳本 tests/assets/golden.py 同時(shí)為 kernel spec、aclnn spec 與 E2E spec 提供參照實(shí)現(xiàn)q/k 兩路分別歸約以兼容 Nq ≠ Nk。八、總結(jié)ApplyRotaryPosEmbGrad 是 CANN ops-transformer 中面向 Ascend 950PR/950DT 的雙路 RoPE 反向算子它一次 kernel 調(diào)用同時(shí)產(chǎn)出 grad_query、grad_key并在傳入 query/key 時(shí)額外產(chǎn)出 grad_cos、grad_sin內(nèi)部依據(jù)布局與廣播關(guān)系在 BAB/AB/A 三種模板間自動(dòng)選擇配合 Reduce 歸約與部分積 workspace 完成帶廣播的反向計(jì)算。實(shí)際使用時(shí)重點(diǎn)把握三類約束D 軸 ≤ 1024 且為偶數(shù)、cos/sin 的 N 維必須為 1、query 與 key 必須成對(duì)出現(xiàn)。相關(guān)接口文檔與示例代碼可直接參考 aclnnApplyRotaryPosEmbGrad 文檔、torchapi 文檔 與 調(diào)用示例?!久赓M(fèi)下載鏈接】ops-transformer本項(xiàng)目是CANN提供的transformer類大模型算子庫(kù)實(shí)現(xiàn)網(wǎng)絡(luò)在NPU上加速計(jì)算。項(xiàng)目地址: https://gitcode.com/cann/ops-transformer創(chuàng)作聲明:本文部分內(nèi)容由AI輔助生成(AIGC),僅供參考
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香狠狠色婷婷久久无码视频| 这里精品| 五月婷婷在线综合| 丁香五月五婷| 妻久久人久久| 热99re| 激情婷婷五月天| 丁J香六月首页| 天天色综网| 少妇性按摩无码中文A片| www.99热| 丁香五月婷婷欧美性爱| 丁香婷婷六月| 啪啪六月婷婷| 色综合九九色综合88| 色噜噜狠狠色综合成人网| 2017狠狠干| WWW久久久| 激情五月综合视频| 性婷婷| 色综合五月婷婷狠狠干| 五月天激情婷婷五月天久久| 欧美日韩欧美| 国产精品视频| 色色色国产| 五月婷婷丁香综合| 亚洲九区| 六月丁香婷婷色狠狠久久| 99热传媒| 超级97碰碰| 婷婷五月精品中文字幕| 夜夜操夜夜爽| 丁香五月婷婷色播艳门照| 少妇激情五月天| 99久热| 成人电影AV在线观看| 激情网综合| 久久婷.com| 97热在线精品| 亚洲va日| 99热国内| 天天操婷婷| 日本婷久久| 久久精品99| 大香蕉久久综合网| 综合激情五月丁香| 久久思思热视频| 日本九九视频| 日韩成人中文| 91久热| 色大综合| 91热99| 亚洲乱码精品久久久久.. | 看片视频在线免费日产在线看| 欧美精品中文字幕亚洲专区| 五月婷婷色播| 亚洲 精品 综合 精品| 久久丁香久久| 久久婷婷五月| 91AV视频| 久久这里都是精品视频| 婷婷激情人妻| 夫妇交换刺激做爰| 亚洲精品视频在线播放| 九热视频| 怎么样可以看免费的一级av| 日本三级韩三级99久久| 99re思思精品在线观看| 久色精品| 久久色五月| 久久久婷| 久久9视频| 狠狠狠夜夜夜| 婷婷五月色| 色99婷婷五月天| 久久奄也去色色网站| 天天爽天天草| 久久精品国产AV一区二区三区 | 99热综合在线| 伊人久久婷婷五月综合97色| 狠色狠色狠狠色综合网| 亚洲色婷婷五月天| 丁香五月影院| 婷婷丁香综合| 久久这里都是精品| 1级欧美日韩| 欧美性二区| 99啪| 一本久道综合99| 来吧亚洲综合网| 97高清国语自产拍| 久久色五月天| 99热这里只有精品1025| 色欧美日| 99热这里是精品| 九九综合影音先锋| 丁香色情五月综合网站| 国产亚洲精品久久久久久豆腐| 久9热| 98色花堂98t.R| 欧美在线看| 五月天激情Av| 国产肥白大熟妇BBBB视频| 色婷婷综合久久| 人人操人av| 国产肥白大熟妇BBBB视频| 五月丁香色情| 色婷婷色99国产综合精品| 色色婷| 六月婷婷色色色| www.久9| 五月天婷婷色情| 丁香婷婷影院| 996er热| 五月丁香六月成人| ss99热| 五月激情小说| 5月色亭亭视频| 国产这里只有精品| 永久的网站AAAA | 99精品一二三四视频| 欧美人人操| 色久播播| 久月久在线视频| 2025天天操| 大大香蕉综合在线| 丁香婷婷色情| 激情网第九色| 无码人妻AV久久久一区二区三区| 另类五月婷婷| 久久综合久色欧美综合狠狠| 超碰爱爱爱| 激情五月视频在线婷婷| 婷婷激情综合色五月久久图片| 丁香婷婷性久久| 9久热在线视频精品| 成人日韩欧美| 婷婷五月天在线观看av| 99久久久精品| 五月久久婷婷| 国产高清RV综合aVa| 26uuu视频欧美| 人妻久久久久久| 九九热这里只有精品12| 九九成年视频| 生活片五区| 亚洲小视频免费播放| 六月丁香网| 天天插夜夜爽| 色五月婷婷自拍| 99干日本| 在线中文AV| 俺去也五月天| 五月天快乐开心激情网| 五月丁香婷婷激情四射迷人| 99热最新网址| 亚洲人人操BD| 91久久| 最近中文字幕2019视频1| 色五月六月| 九九九九国产| 99热一本久道| 99热个人在线| 99精品免费视频| 色色色色综合| 99在线看片| 狠狠爱综合网| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 五月婷婷久久开心网| 爱操天堂| 中文激情网| 色在线99| 丁香五月在线| 欧美毛片www| 99精品在线| 麻豆123区| 欧美色婷婷| 婷婷五月另类网站| 97操碰碰无码视频| 色一情一乱一乱91Av| 91人人爱| 五月婷婷丁香91| 9l视频自拍9l九色成人| 久9热| 综合大香蕉| 79色色色色| 九九Av| 丁香五月婷婷Av| 婷婷色综合中心站| 操人妻AV| 99久久婷婷| 天堂综合久| 夜夜夜夜撸夜夜操| 婷婷成人五月天成人文学小说| 天天爽天天弄| 天天色天天搡| 久久99综合| 亚洲第一黄网| 久久最新色色色| 五月丁香婷婷在线| 丁香六月激情| 香蕉久久六月| www九九热| 狠狠综合网| 99热综合| 婷婷丁香花五月天| 成人五月天丁香| 色噜噜狠狠色综合网| 丁香五月先锋| 五月色婷婷影院| 色色色色色网| www.婷婷五月天| 2025天天日爽| 五月婷婷在线观看黄| 久热免费视频| 色婷婷超碰| 综合一区二区三区| 久热91| 欧美色久| 五月婷婷无码| 99国产精品白浆在线观看免费 | 丁香婷婷五月份| 97精品人人A片免费看| 中日韩美欧成人一区二区精品在线| 欧美69久成人做爰视频| 99热传媒| 五月丁香91| 色综合久| 亭亭色天香| 色婷婷基地| 国产欧美va| 色婷婷激情| 久热大香蕉| 免费视频WWW在线观看网站| 中文字幕有多少字| 大香蕉久久草| 婷婷的五月天另类视频| 久久五月天色| 99碰碰| 欧美经典片免费观看大全| 奇米色大香蕉| 五月综合影院| 91色婷婷综合久久中文字幕二区| 色亚洲婷婷| 丁香婷婷91在线观看视频| 日本精品99| 性爱视频99| 久久se 综合网| 五月天婷婷久草丁香| VA色婷婷| A久久| 91碰| 婷婷丁香日韩五月| 色综合丁香婷婷| 五月婷婷综合激情| 亚洲综合激情五月| 色九月| 91九九九色在| 色五月首页| 五月精品免费XXX| 97人人草| 国产在线视频1234| 波多野结衣成人作品在线| 国产综合婷婷| 欧美va亚洲va在线播放| 超碰免费99| 第四色色六月色综合| 婷婷激情肏屄网| www.激情| 97一区二区| 天天橾夜夜爽| 天天摸色吧天天摸色吧| 亚洲高清在线| 亚洲自拍天堂| 天堂AV在线看| 狠狠综合| 超碰99热精品| 久久婷婷色| 乱轮A片| 六月婷婷综合| 大香蕉婷婷五月| 欧美丁香五月| 亚洲狠9| 人妻久久久久久久久妻久久久久久久久| 五月婷婷激情综合视频| 久久97久久99久久综合欧美| 五月天婷婷久久| 四季AV综合网| 香蕉AV777XXX色综合一区| 婷婷成人基地| 亚州激情网| 久久久18| 夜夜操天天干| 日日夜夜久| 最近中文字幕2019视频1| 人人操日| www.色99| 色婷婷五月天av在线| 人人人操| 亚洲AV网址| pom538精品视频| 超级碰91| 婷婷六月色开| 欧美人人超级碰| 久热这里只有精品在线观看 | 五月天社区| 丁香五月色情| 色噜噜狠狠色综| 99无码精品| 婷婷九月激情| 色色色色色色色色综合网| 日本熟妇精品99| 丁香色婷婷| 色综合色婷婷色伊人| 久久思思热| 色情综合网| 夜夜撸天天操| 六月丁香深深爱| 99原创自拍视频在线观看| 激情深愛五月視頻| 六月婷综合| 色综合综合色| 美国不卡视频| 天天人人人人人人人人人人人| 大香AV| 五夜婷婷| 色五月开心五月激情五月| 综合久久五| 播播网色播播| 另类图片色五月| 欧美大片免费播放器| 久草视频一,二三四| 日日操夜夜撸| 亚洲欧洲99| 五月婷婷丁香日韩在线| 日本狠狠色| 欧美日韩91| 少妇2做爰HD韩国电影| 激情小说视频图片网| 婷婷色九月| 欧美婷婷| 超碰国产AV| 色色色视频免费无码 | 激情五月黄色| 九九青青草成人| 91人妻视频| 97婷婷狠狠| 色五月av| 婷婷婷婷婷婷婷婷| 婷婷久久综合| 激情丁香久久| 99ER热精品视频| 欧美激情综合色综合啪啪五月| 国产精品久久久久久久久久免费| 99精彩视频在线观看| 91趴趴| 97色婷婷| 欧美影院| 五月激情网络| 五月丁香色婷婷伊人| 欧美人人超级碰| 99亚洲精品| 五月婷婷69| 思思久ren热| 综合性爱网| 亚洲欧美成人在线观看| 五月婷婷六月丁香| 黄网免费观看| 丁香五月婷婷香| 蜜乳国产网站| 做爱夜夜干天天操| 婷婷五月偷拍| 好看的国产精品| 天天插综合| 国产精品天天狠天天看| 丁香六月av| 91免费啪视频| 五月激情站| 亚洲亚洲人成综合网络| 五月丁香激情综合久久| 五月婷婷六月丁香| 超碰人人色| 久久五月丁香六月婷| 天天综合网站| 狠狠做深爱婷婷久久综合一区| 色综合狠狠色| 五月婷婷丁香婷婷| 99热99色| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 天天射影| 色欲色香综合网| 成年人夜夜喷水| 天天艹夜夜爽| AV在线大香蕉| 色五月丁香婷婷综合| 91vip在线观看| 亚洲热久久| 天天精品视频免费观看| 午夜色丁香| 日韩欧美一级大黄网站| 久久精品国产一区二区三区四区| 一级操逼内射在线视频| 大香蕉中文| A久久| 夜夜涩涩涩| 五月天婷婷网站| 婷婷五月色播| 日日夜夜久| 97伊人综合婷婷| 99精色| 思思热国产在线| 丁香五月六月综合激情| 国产午夜成人AV在线播放| 亭亭五月色男人| 亚洲色色爱| 综合爱久久| 亚洲五月色| 丁香大香蕉| 天天爽天天| 五月丁香久久网| 九九九九成人| 久久婷婷影院| 激情第四色| 五月丁香999| 国产精品色婷婷久久久精品| 亚洲成av人影院| 亚洲久热| 激情5月天天天| 色色免费网站| 丁香六月天婷婷| 少妇人妻偷人精品无码视频新浪| 六月撸婷婷| 婷婷五月开心中文字幕在线| 性色婷婷| 五月婷婷导航| 五月婷婷色在线| 日本久久网| 婷婷射丁香| 99热精这里只有精品| 午夜成人AV在线| 久久精品熟女亚洲AV麻豆| 五月婷婷色播| 亚洲噜色| 亚洲无码成人网| 日本97在线观看| 99色综合| 国产欧美熟妇另类久久久| 色色免费网站| 99视频在线观看网址| 另类小说五月天综合网| 人人射av| 丁香亚洲婷婷五月| 免费99情趣网视频| 综合激情伊人影视在线| 99精品视频免费在线播放| www.色色com| 精品热九九| 婷婷色影音天| 色色网站日本91| 日本女色人人| 日本综合久| 婷婷欧美激情| 激情五月天婷婷色色色色色色色色色色色 | 久久婷婷啪啪视频| 丁香五月色网| 我去色色网五雨天| 婷婷综合干| 99情色五月天| 久久久性爱网| 色婷婷色99国产综合精品| 九热免费视频| 七七九色| 婷婷五月激情在线| 韩国真做片在线观看| 欧美日韩色色| 婷婷激情五月天7| 99惹 精品在线| 国产欧美性成人精品午夜| 欧美激情五月天| 国产3p露脸普通话对白| 亚洲AV日韩在线观看| 黄色成人AV在线| 国产性爱一级| 亚州欧美国产久精国产99综合视频| 丁香五月色色| 色婷婷精品小视频| 丁香五月婷婷激情中文| 五月天激情国产综合婷婷| 天天爽夜夜操| www.久久爱| 五月天婷婷深深爱| 国产AV一区二区三区日韩| 婷婷综合激情| 五月婷婷综合在线视频| 色色色国产| 91seav| 午夜精品777| 欧洲亚洲精品| 超碰狠狠操| 久热99| 成人片黄网站色大片免费毛片| 大香蕉五月婷婷丁香| 日韩无码人妻一区二区| 97色婷婷成人综合在线观看| 天天摸天天舔天天爽| 天天噜噜| 色狠狠综合| 丁香伍月婷电影全集| 欧美日韩成人高清在线| 狠狠干2007| 天天综合网亚洲综合网| 91超碰在线播放| 婷婷开心深爱五月天| 婷婷综合五月激情| 人妻久久久久久久| 五月天另类小说| 大香伊人婷婷影院| www.激情在线| 思思热精品在线观看| 成人一级片| 99ER热精品视频| 九九99香蕉在线视频播放| 九九热只有这里精品| 狠狠色综合久久| 国产精品色色| 97人妻碰碰碰久久久久-最近国语高清| 91chinese在线| 人人人舔人人人操人人人摸人人人97| 成人综合视频在线| www久久久久久久久久久| 色情五月天。| 久久久久久性爱视频| 亚洲精品99| 五月天激情网址| 99热这里只有精品69| 九九色色| 国产精品久久久久久久久久| 五月婷婷激情久久| AV人人操| 七月丁香五月婷婷在线| 性爱久久| 人妻射精AV| 五月六月激情| 免费无码毛片一区二区A片| 99九九在线| 人人干人人操人人摸| 久久小说网| 九九蜜臀精品| 日本狠狠干| 人人操插| 婷婷网五月天| 超碰激情五月| 五月丁香六月婷婷手机无线| 国产毛片精品一区二区色欲黄A片 国产人妻777人伦精品HD | 色域五月丁香| 激情五月六月丁香| 丁香五月大香蕉| bbwcuckold精品熟妇| 五月天成人在线| 午夜丁香婷婷| 五月丁香色色| 天堂在线9| 亚洲精品网址| 丁香综合婷婷五月天| 五月丁香色停停啪啪啪| 99精品视频在线| 婷婷综合在线| ri电影在线| 五月婷丁香| 秋霞AV淫| 99re热在线视频| 99热综合网| 成人短视频在线免费观看| 9一精品视频观看| 久久久这里都是精品| 五月婷婷丁香| 狠狠狠狠狠狠色| av网址在线| 人人摸人人操人人爽| 亚洲永久四色| 97在线精品| 亚洲天天操| 色综合天天网| 少妇高潮呻吟A片免费看软件| 99热久久最新地址| yjzz亚洲国产| 久久99热这里只频精品6学生| 五月天婷婷涩涩| 久99热在线观看| AV在线资源| 久婷久婷| 九九热这里有精品视频| 久久怡红院| 亚洲va欧美va国产综合久久久| 97超喷视频在线观看| 丁香五月成人社区| 婷婷亚洲影院| 狠狠操综合| 五月丁香伊人网| 五月天婷婷丁香花| 丁香五月在线播放| 狠狠干总合| 激情九九六月激情免费视频| 五月丁香啪啪婷婷| 无码AV久久久久久久久| 久色国产| 国产性爱色| 免费AV播放| 激情五月天开心网丁香无码| ...婷婷五月综合不卡,国产在线手机| 中文字幕在线日亚州9| 婷婷另类开心| 在线不卡中文字幕| 色婷婷成人做爰A片免费看网站| 丁香五月亚洲| 五月丁香亭亭操逼| 综合欧美五月婷婷| 激情四射网| 先锋资源 996| 99福利导航| 内射在线CHINESE| 五月天综合色| www.色婷婷。com| 国产探花一片区| 激情小说五月天| 婷婷成人综合五月| 67194成I人在线观看线路1| 女人被躁到高潮嗷嗷叫小| 国产成人AV在线播放| 丁香婷婷六月天| 综合久久高清| 欧美黄色一级录像| 五月婷婷 六月丁香| 综合 蜜月 婷婷| 丁香色色网| 99成人在线观看| 在线,国产,色,热视频| 超碰色人妾| 无码AV免费精品一区二区三区| 51XX午夜影福利| 丁香五月天激情网| 五月婷婷网久久| 草美女在线观看视频在线播放| 久啪欧美| 狠狠久久婷五月综合色| 亚洲无码99| 91人人网| 亚洲热久久| 丁香五月激情视频在线| 国产韩日亚洲美州欧亚综合在线| 九九综合网色全集| 99视频91| 伊人婷婷99热精品| CHINESE熟女老女人HD视频| 99热免| 五月丁香六月综合激情 | 操一操干一干| 激情网婷婷婷| 婷婷丁香激情| 久久九九思思| 蜜桃人妻无码AV天堂三区| 婷婷亚洲综合| 九九综合伊人| 色婷婷国产精品综合在线观看| 天天干天天日天天操| 婷婷丁香人妻久久在线观看| 五月天精品综合在线| 亚洲AV激情五月综合网| 亚洲色9| WWW·色色色·COM| 久久久ww| 狠狠色色综合| 大香蕉五月婷婷| 大香蕉久久草| 久热一本| 五月婷婷在线丁香| 手机在线日韩视频中文字幕| 亚洲殴洲精品Av在线| 日本97久久久精品| 黄色五月婷婷| 色九月婷婷| 九色视频91疯狂| 五月天丁香婷| 91精品丝袜久久久久久久久粉嫩| 色射7856五月天激情四射| 五月天婷婷激情在线色图| 色五月婷婷伊人| 激情五月婷黄版| 人妻久热| 五月天激情综合在线| 亚洲国产色婷婷| 99er免费在线观看| 亚洲人妻一区二区| 伊人五月天婷婷| 色婷婷视频综合| 日本婷婷色日| 亚洲av网站| 免费视频99| 噼里啪啦完整版中文在线观看| 久久五月婷综合| 亚洲av电影在线| 真实熟女-91九色| 色欲五月婷婷| 热99精品视频在线观看| 久久有码| 激情深爱五月天| 色婷婷超碰| 色五月婷婷五月天| 婷婷色影音天| 91要啪| 五月丁香六月婷婷亚洲激情综合| 婷婷五月激情在线视频| 天天xxxxxx天天日| 久久五月天婷婷| 99re热视频这里只精品| 密视AV综合在线| 五月婷婷综合激情网| 久久五月婷综合网| 国产毛片精品一区二区色欲黄A片| 伊人干综合| 牛牛澡牛牛爽| 任你爽视频| 五月色情婷婷开心五月色情| 欧美va欧美va差| 99热这里有精力| 天天舔天天| 操人妻视频91| 婷婷伊人网| 嫩草哈哈操| 激情五月天色| 婷婷激情社区| 99热97| 亚洲在线成人| 天天色综合天天| 99精品久久久久久久婷婷久久 | 激情五月丁香五月综合| 人人爱操| 综合五月网| 97在线视频观看| 色婷婷久久视屏| 亚州欧美国产久精国产99综合视频| 激情综合另类| 五月天婷婷久久视频| 色停停影院五月天| 欧美在线干| 五月丁香花激情综合网| 91丨九色丨熟女高潮| 97婷婷五月| AV在线观看网站| 婷婷射图五月天| 欧美色99| 九九热123| yellow视频在线观看91| av操一操| 九九99精品视频在线观看| www.色色com| 精品99爱免费视频在线观看| 亭亭五月丁香五月天激情| 99免费偷拍视频| 五月天自拍视频| 999激情视频| 亚洲婷婷激情综合激情999精品| 五月婷婷激情69| 五月婷av| 玖色色综合| 亚洲精品性色| 久久久99精品免费观看| 婷婷导航| 九九亚洲| 日韩精品一区二区亚洲AV观看| 久久人妻伊人| 国内自拍97在线| 秋霞午夜理论| 五月激情视频| 色色五月婷| 日本婷婷| 久久91久久91色欲精品| 五月天婷婷无码| 怡红院成人AV| 婷婷六月丁香五月| 99欧美三级视频| www.五月瑟| 性欧美大战久久久久久久83| 夜夜夜夜做天天天做无码视频| 五月综合激情网| 爱之国产色情综合| 91婷婷色 | 精品久久99码| 中文av在线观看| 五月丁香六月激情欧美综合| 激情五月婷婷综合网| 色婷婷久久综合久色综| 综合另类视频| 色欲五月婷婷| 色999五月色| 97人人搞| 色一区高清| 狠狠做婷婷| 欧美成人无码高清一区二区三区| 开心五月激情网| 爱草视频在线观看| 一本婷婷丁香久久| 色五月婷激情| 色色色色热热| 99热国产| 色婷婷成人在线| 丁香婷婷久久 | 六月婷婷久久大全| 婷婷五月综合基地| 狠狠高潮精品亚洲1| 九九婷婷综合| 99精品在线观看| 99色这里| 国产午夜精品一区二区三区四区| 久久人妻人人槡| 97在线/日本| 97色碰| 无码一区二区日韩| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品| 激情五月天色婷婷综合| 色婷婷激情五月天| 这里只有精品视频在线| 天天综合天天玩夜夜玩天天玩夜夜玩 | 婷婷午夜| 五月天丁香婷婷久久九| 五月丁香六月在线| 五月婷婷综合热| 日本二级毛片二级毛片| www一区二区三区| 91疯狂操操操操| 久久六月天| 99干99| 九九黄色网| 精品国产va久久久| 国产综合视频婷婷| 欧亚成人A片一区二区| av在线中文| 丁香五月亭亭六月综合激情网| 国产XXXX搡XXXXX搡麻豆| 丁香五月成人社区| 五月婷无码| 玖玖99婷婷| 99.N在线视频| 日本ww亚洲| 免费看无码视频A级| 欧美搡BBBBB摔BBBBB| 国产在这里只有精品| 99色在线观看免费| 久草网大香视频| 日 日干 日日做| 综合性爱网| 欧美丰满熟妇BBB久久久| 丁香婷婷色色| 五月天玖玖狠狠色色| 97AV在线视频| 玖色色综合| www.激情| 色色日本| 免费精品99| 亚洲激情综合五月婷婷啪啪| 激情五月天婷婷直播| 伦99热| 丁香五月婷婷操逼| 97福利视频| 久久婷婷啪啪视频| 99热的无码| 五月丁香六月日逼| 亚州色婷婷| 天天狠狠综合精区| 五月婷婷综合网| 特黄三级片| 丁香婷婷六月天| 开心激情网五月天| av操一操| 日韩av大全| 这里只有精品日韩| 激情久久 婷婷| 91美女啪啪| WWW久久99久久99久久| 96精品成人无码A片观看金桔| 九九综合久久| 国产激情久久久| 秋霞AV淫| www.久久综合| 99色视频在线| 91成人性爱视频| 99久久极情精品一区| www.成人婷婷综合| 操逼123网| 欧美另类五月激情| 狠狠操.com| 在线区区区| 在线中文av| 青草网在线观看| 久九色| 怡春院久操| 欧美WW在线网| 亚洲狠狠婷婷| 大胆伊人久久| 91九色成人原创视频| Caoub青青超碰 | 99热这里都是精品| 秋霞性爱AV| 91丨九色丨高潮丰满日本| 五月丁香婷婷综合| 超碰在线免费9| 超碰人人干| 久久婷婷网| 色婷婷五月在线| 大地资源色婷婷视频在线| 无码字幕中文| 狠狠综合久久综合| 婷婷娌伦网| 国产超碰人人| 国产精自产拍久久久久久蜜| 久久婷婷六月综合| 九九香蕉网| 欧美槡BBBB槡BBB少妇| 思思热99er| 婷婷爱五月| 九九色影视| 日本熟女三区| 色丁香在线视频| 色婷五月丁香久亚洲| 五月天婷婷中文字幕在线播放| 亚洲色网址| 五月婷婷深深爱| 五月天伊人久久久久| 可以免费观看的AV| 欧美三级视频| 色婷婷综合久久久久| 国产色色网址网站| 99热色精品| 热久久这里只有精品| 热婷婷av| 日本久久爽| 色亚洲婷婷| 五月丁香婷婷基地| 五月天成人综合| 亚洲视频综合网| 久久九九99桃花视频| 9久久久久久久久久久| 激情五月天色网站| 噜噜噜色噜噜| 九九九九毛片| www.婷婷激情网.com| 色婷婷丁香| 99色视频免费在线规看| 激情五月天电影| 色九月综合| 亚洲欧洲99| 另类激情首页| 久青草影院| 最新日韩久热免费视频看看| 大地9中文在线观看免费高清| 91丨九色|PRNY熟妇| 国产色色网址网站| 99自拍网| 99综合五月免费视频色婷婷| 99色色热热| 99aese| 91色色色| 久久玖玖99| 久久ER视频com| www.9797国产| 26uuu成人网| 99久久久久| 亚洲久热无码| 五月天丁香网| 五月婷精品| 五月天天爽| 国产精品久久久久久久久久久久| 婷婷激情啪啪| www.思思99热| 五月婷婷激情五月| 亚洲一区二区无遮挡A片| 操逼123网| 国产亚洲在线观看| 精品国产a| 丁香九月综合| 91AV婷婷| 色色亚洲99com| www.99热国产| 久久9视频欧美| 丁香9月婷婷| 午夜九九电影| 99热.com| 日本啪啪网| 色五月亚洲开心网| 国产成人网址| 国产44页| www.sezonghe| 第九色区av天堂| 丁香五月日韩| 丁香六月色婷婷| 五月婷婷av在线| 婷婷中文字幕网站| 婷婷五月天av小说| 二人电影免费版在线观看| 国产精品久久..4399| 超色欲天天| 天天狠狠夜夜狠狠2023| 久久婷婷激情久久| 天天爽免费视频| 我想看国产大学生口爆吞精的视频| 激情播丁香| 国产精品美女| 激情另类综合| 成人在线日韩| 天天舔天天摸天天射| 少妇性BBB搡BBB爽爽爽视頻| 久久一热免费视频| 五月天综合网| 2025中文在线视频字幕免费观看| 婷婷九月色| 六月婷婷俺也去| 潘金莲AAAAAAAAAA| 色99欧洲色19| 五月天婷婷激情在线色图| 99精品免费| 九九干视频| 色碰碰视频| 天天日夜夜高潮| 国产露脸150部国语对白| 五月天婷婷视频30| 91碰免费视频| 丁香五月五月婷婷| 婷婷丁香五月天影院| 丁香五月91| 夜夜夜天天操| 极品少妇XXXX精品少妇偷拍| 天天日,夜夜爽| 日本综合99| 在线视频激情网站| 国产精品操| 99操视频| 国产日日操夜夜操的肉棒视频| 日本少妇AA一级特黄大片| 亚洲成人中心| 天天天操天天天爰| 在线播放成人| 成人欧美日韩| 久久人妻爱爱| 中文字幕不卡网站| 狠狠做深爱婷婷久久综合一区| 韩国19 主播内部福利vip免费播放| 亚洲激情淫网| 久久五月婷婷电影| 国产成人网址| 色五月色五天色情网| 天天综合网色欲香| 久久人妻精品| 99热9| 丁香五月性爱| 亚洲成人av在线播放| 久久久久人妻精品| 婷婷五月噜噜| 一级二级色大片| 五月丁香啪啪啪| m色激情网| 超级碰碰91| 婷婷久久五月| 人人草人| 九九综合九九| www.wuyuetian啪啪| 婷婷婷婷婷婷婷婷| 久久婷婷青草五月天| 影音先锋五月婷婷| 伊久久婷婷| 五月丁香天堂网婷婷| 天堂综合久久| 99免费在线视频| 欧美五月丁香| 丁香六月色香蕉视频| 伦乱人妻| 草草视频91| SESE无码AV| 久操激情| 日本欧美成人片AAAA| 日本成人噜噜噜| 天天拍夜夜撸| 大香AV| www99热| 99视频在线精品| 久色视频首页| www.97干视频| 国产真实乱了老女人视频| 婷婷五月影院| 五月天久久成人| 91大屁股精品| 亚洲字幕AV一区二区三区四区| 亚洲操B| 色婷婷成人丁香| 久久久A级视频| 国产精品久久久久久久久久| 亚洲精品婷婷| 精品无码色欲AV| 婷婷五月中文字幕| 中文字幕丰满孑伦无码专区| 日韩成人AV在线播放| 激情综合丁| 国产欧美日韩性爱| 久久久九九九 99| 国产肥白大熟妇BBBB视频| 激情丁香五月婷婷| 丁香五月婷婷88在线| 综合AV在线| 97操男人的天堂| 色五月婷婷久久| 橾逼网| 色婷婷综合中心| 欧美激情VA永久在线播放| 久青操| 色婷婷综合网站| 五月丁香婷婷综合| 超碰2021| 超碰成人电影| 色婷婷影视| 九热视频这里只有精品| 色五月大| 久操97| www.jiujiujiu| 色综合色| 大香蕉人妻| 99亚洲视频| 六月丁香五月婷婷| 色噜噜婷婷| 99热最新| .精品久久久麻豆国产精品| 国产一级视频a| 久久久久久久91| 亚洲在线成人| 久久WW| 日韩一级片| 99热66| 4399欧美另类视频| 丁香五月网| 婷婷色五月色妇| 九色啦蜜臀| 激情五月小说婷婷| 97超碰9久热婷婷热| 色婷婷成人| 久久免费精彩视频| 狠狠撸激情综合丁香五月天俺来啦| 这里只有精彩小视频视频网站| 9精品视频在线| 伊人五月婷| 99久久99九九99九九九| 97色天堂| 开心五月网| 丁香五月精品| 密臀av无码人妻精品| 亚洲一色色色色色色色色| 丁香五月天激情免费在线观看AV777| 无码区婷婷五月花开| 色五月播五月| 大香蕉网 久久| www综合久久| 激情五月综合ì香亚洲| 九九热视频思思| 久操无码| 国产乱人偷精品人妻A片| 天天操天天插天天射| 激情图片99| 久久性爱网站| 伊人久久婷| 久久99热精品a片在线观看| 五月天亚洲最大成人| 五月婷婷在线短视频| 久久婷婷亚洲| 超碰色色综合| 丁香五月天狠狠操| 激情婷婷网| 丁香五月 无码| 亚洲丁香婷婷| 五月天天丁香婷婷| 91色婷婷综合久久中文字幕二区| 丁香婷婷啪啪| 六月婷婷av| 色婷婷久久久| 久久Xx| 激情综合激情综合| 五月天亚洲色| 久久久久久久五月婷婷六月丁香综合,开心激情综合网 | EEUSS鲁片一区二区三区| 五月天婷综合| 六月丁香婷婷开心综合基地| 91色色色| 久久99三级在线视频| 五月丁香亭亭天天舔| 亚洲婷婷五月天| WWW99热| 色婷另类| 中文字幕 码精品视频网站| 最新色色五月天| 五月婷在线影院| 99热网址| 日韩AV在线免费观看| 五月天色婷婷基地| 久9热| www.激情五月天.con| 五月丁了香蕉综合| www.夜夜操| 69热91天堂| 国产超碰在线| 五月婷婷激情综合av| 婷婷五月天电影网| 丁香五月婷婷综合91| 久久精品人妻| 精品久久久久久久人妻| 伊人狠狠狠综合| 色五月激情基地| 思思精品热在线| 丁香色婷婷| 丁香五月天社区| 婷婷五月丁香综合| 久久婷婷五月| 大香蕉伊人久久| 色欲婷婷五月天| 五月天综合视频| 色色色色综合| 天堂无码人妻精品AV一区| 9热网站| 亚洲岛国电影| 男人的天堂99| 很很色丁香久久停停| 日韩狠狠色| 婷婷放心五日爱| 久思思热视频在线观看| 色就是色婷婷五月亚洲激情| 欧洲婷婷五月天| 欧美va亚洲va在线播放| 亚洲综合激情五月| 99re热在线视频观看| 97碰在线视频| 国产午夜精品AV一区二区麻豆| 中文字幕成| 9视频在线成人网站| 中文字幕av网站| Caop在线| 五月丁香免费视频| 五月丁香激情综合啪| 婷婷涩五月天综合| 婷婷色丁香六月| 99爱视频| 久久六月综合| 99碰碰| 日本一级黄色片。| 丁香婷婷综合色五月激情国产基地| 天堂综合久久| 爆乳熟女一区二区三区爆乳| 夜夜夜天天操| 欧美另类五月激情| 99视频在线精品免费观看2| 婷婷月综合| 99人人干| 婷婷丁香五月在线观看91| 日韩肏屄网| 激情深爱五月婷婷| 日 日干 日日做| WWW.桔色成人.COM| 天天婷婷| 97久久精品| 99国产精品久久久久久久久久久| 午夜成人av在线| 久久精品五月|