欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

【CANN訓(xùn)練營】Qwen3-8B 推理優(yōu)化實(shí)踐筆記(2~3)

【CANN訓(xùn)練營】Qwen3-8B 推理優(yōu)化實(shí)踐筆記(2~3) 1 簡介見【CANN訓(xùn)練營】Qwen3-8B 推理優(yōu)化實(shí)踐食用指南-CSDN博客2 Baseline跑通notebook地址gitcode.com/cann/cann-learning-hub/tutorials/llm_inference/qwen3_8b/02_baseline_inference.ipynb2.1 環(huán)境與工作區(qū)準(zhǔn)備import json import os import subprocess import sys from pathlib import Path print([環(huán)境準(zhǔn)備] 開始, flushTrue) os.environ.setdefault(QWEN3_8B_DOWNLOAD_BACKEND, modelscope) os.environ[TOKENIZERS_PARALLELISM] false os.environ.setdefault(ASCEND_RT_VISIBLE_DEVICES, 0) def locate_repo_root(): repo_roots [] for env_name in (GITCODE_REPO_ROOT, CANN_LEARNING_HUB_ROOT, REPO_ROOT): if os.environ.get(env_name): repo_roots.append(Path(os.environ[env_name])) try: cwd Path.cwd() lineage [cwd, *cwd.parents] repo_roots.extend(lineage) repo_roots.extend(base / cann-learning-hub for base in lineage) for base in lineage: try: repo_roots.extend(base.glob(*/cann-learning-hub)) except OSError: pass except FileNotFoundError: pass repo_roots.append(Path(/opt/atomgit/cann-learning-hub)) seen set() for repo_root in repo_roots: key str(repo_root) if key in seen: continue seen.add(key) if (repo_root / tutorials/llm_inference/qwen3_8b/src).exists(): return repo_root raise FileNotFoundError(Cannot locate cann-learning-hub repository root. Open this notebook inside cann-learning-hub or set CANN_LEARNING_HUB_ROOT to the repository root.) REPO_ROOT locate_repo_root() os.chdir(REPO_ROOT) TUTORIAL_DIR REPO_ROOT / tutorials / llm_inference / qwen3_8b SRC_DIR TUTORIAL_DIR / src SOURCE_DIR REPO_ROOT / Sources / model_inference_optimization / qwen3_8b SOURCE_DIR.mkdir(parentsTrue, exist_okTrue) if str(SRC_DIR) not in sys.path: sys.path.insert(0, str(SRC_DIR)) from inference_scripts.environment_check import find_unmet_requirements, read_pinned_requirements if not os.environ.get(ASCEND_TOOLKIT_HOME): raise EnvironmentError(ASCEND_TOOLKIT_HOME is not set. Please activate the CANN environment before running this notebook.) cann_script Path(os.environ[ASCEND_TOOLKIT_HOME]) / set_env.sh env_cmd fsource {cann_script} env env subprocess.check_output(fbash -lc {env_cmd}, shellTrue, textTrue, cwdREPO_ROOT) for line in env.splitlines(): if in line: os.environ.__setitem__(*line.split(, 1)) REQUIREMENTS_FILE TUTORIAL_DIR / requirements.txt pinned_requirements read_pinned_requirements(REQUIREMENTS_FILE) unmet_requirements find_unmet_requirements(pinned_requirements) if unmet_requirements: print([依賴檢查] 以下依賴缺失或版本不匹配) for name, actual, expected in unmet_requirements: print(f - {name}: 當(dāng)前{actual or 未安裝}, 要求{expected}) requirements_to_install [f{name}{expected} for name, _, expected in unmet_requirements] subprocess.run( [ sys.executable, -m, pip, install, -i, https://pypi.tuna.tsinghua.edu.cn/simple, --extra-index-url, https://download.pytorch.org/whl/cpu, --trusted-host, pypi.tuna.tsinghua.edu.cn, *requirements_to_install, ], checkTrue, ) remaining find_unmet_requirements(pinned_requirements) if remaining: details , .join(f{name}: {actual or 未安裝} ! {expected} for name, actual, expected in remaining) raise RuntimeError(f依賴安裝后仍不滿足統(tǒng)一版本{details}) print([依賴檢查] 安裝完成統(tǒng)一環(huán)境已滿足) else: print([依賴檢查] 所有依賴版本均滿足跳過安裝) RECIPE_ROOT SRC_DIR / inference_scripts / recipe_qwen3_8b RECIPE_CONFIG_DIR RECIPE_ROOT / models / qwen / config BASELINE_YAML_TEMPLATE RECIPE_CONFIG_DIR / qwen3_8b_1tp.yaml PROFILE_YAML_TEMPLATE RECIPE_CONFIG_DIR / qwen3_8b_1tp_profile.yaml OPTIMIZED_YAML_TEMPLATE RECIPE_CONFIG_DIR / qwen3_8b_1tp_add_rmsnorm.yaml INFER_SH RECIPE_ROOT / executor / scripts / infer.sh MODEL_ID os.environ.get(QWEN3_8B_MODEL_PATH) or Qwen/Qwen3-8B MODEL_SOURCE_HINT local_path if os.environ.get(QWEN3_8B_MODEL_PATH) else os.environ[QWEN3_8B_DOWNLOAD_BACKEND] print(倉庫目錄 , REPO_ROOT) print(教程目錄 , TUTORIAL_DIR) print(運(yùn)行目錄 , SOURCE_DIR) print(recipes 目錄 , RECIPE_ROOT) print(YAML 目錄 , RECIPE_CONFIG_DIR) print(推理入口 , INFER_SH) print(可見 NPU , os.environ.get(ASCEND_RT_VISIBLE_DEVICES)) print([環(huán)境準(zhǔn)備] 完成, flushTrue)這段代碼是整個(gè)教程的環(huán)境準(zhǔn)備階段核心目標(biāo)是把當(dāng)前 Notebook 進(jìn)程配置成“可以在昇騰 NPU 上跑 Qwen3-8B 推理”的完整環(huán)境。執(zhí)行對應(yīng)單元格即可。這部分代碼完成了環(huán)境準(zhǔn)備工作先通過多策略定位并切換到教程倉庫根目錄然后設(shè)置模型下載后端、tokenizer并行開關(guān)和可見NPU卡號(hào)等基礎(chǔ)環(huán)境變量接著通過執(zhí)行CANN的set_env.sh腳本把昇騰工具鏈所需的全部環(huán)境變量導(dǎo)入當(dāng)前Notebook進(jìn)程隨后讀取requirements.txt并檢查當(dāng)前Python環(huán)境的依賴版本若有缺失或不匹配則自動(dòng)用清華鏡像源安裝補(bǔ)齊最后定義recipes推理框架、YAML配置文件、推理入口腳本和模型ID等路徑常量并打印環(huán)境摘要供確認(rèn)為后續(xù)在昇騰NPU上運(yùn)行Qwen3-8B推理和Profiling采集做好了完整的運(yùn)行環(huán)境準(zhǔn)備。2.2 查看YAML并執(zhí)行Baseline推理2.2.1準(zhǔn)備Baseline YAML把 Baseline YAML 模板復(fù)制一份到運(yùn)行目錄填入真實(shí)模型路徑并打印關(guān)鍵配置供確認(rèn)。import os import time from inference_scripts.recipe_workflow import ( collect_recipe_metrics, find_recipe_case_dir, prepare_runtime_yaml, print_yaml_focus, resolve_model_path, ) from inference_scripts.inference_qwen3_8b import ensure_recipe_log_ok BASELINE_WORK_DIR SOURCE_DIR / run_outputs / baseline_demo BASELINE_YAML SOURCE_DIR / recipe_yaml / baseline_demo.yaml BASELINE_WORK_DIR.mkdir(parentsTrue, exist_okTrue) print([Baseline 推理] 開始, flushTrue) resolved_model_path, model_source resolve_model_path(str(MODEL_ID), quiet_model_ioFalse) prepare_runtime_yaml(BASELINE_YAML_TEMPLATE, BASELINE_YAML, model_pathresolved_model_path) print([YAML 準(zhǔn)備] Baseline 配置, flushTrue) print(參考 YAML , BASELINE_YAML_TEMPLATE) print(運(yùn)行 YAML , BASELINE_YAML) print_yaml_focus(BASELINE_YAML) baseline_log_dir BASELINE_WORK_DIR / recipe_logs baseline_log_dir.mkdir(parentsTrue, exist_okTrue) os.environ[QWEN3_RECIPE_ROOT] str(RECIPE_ROOT) os.environ[QWEN3_RUN_YAML] str(BASELINE_YAML) os.environ[QWEN3_RUN_LOG] str(baseline_log_dir / baseline_demo_infer_stdout.log) os.environ[QWEN3_RUN_START_TIME] str(time.perf_counter())什么是YAMLYAMLYAML Aint Markup Language是一種人類可讀的配置文件格式用縮進(jìn)和鍵值對來表示數(shù)據(jù)就像“簡化版的 JSON但不用寫括號(hào)和逗號(hào)”。為什么需要 YAML這套教程里YAML 的作用是用文本描述“怎么跑模型推理”而不需要改 Python 代碼。比如需要改模型路徑、是否開 Profiler、是否開 RMSNorm 融合、生成長度這些內(nèi)容只需要改 YAML 文件不用動(dòng)任何 Python 代碼。YAML 長什么樣運(yùn)行YAML目錄文件地址在cann-learning-hub/Sources/model_inference_optimization/qwen3_8b/recipe_yaml/baseline_demo.yaml上一部分打印的內(nèi)容作為Baseline配置這份YAML的核心特征是關(guān)閉了各類性能優(yōu)化如 Profiler、RMSNorm 融合、緩存編譯等用于作為后續(xù)優(yōu)化對比的“原始基準(zhǔn)”。YAML文件的主要字段及解釋1 model_config模型與推理核心配置字段當(dāng)前值含義model_nameqwen3_8b模型名稱標(biāo)識(shí)model_path/home/developer/.cache/...模型權(quán)重實(shí)際路徑由代碼自動(dòng)填入dtypebfloat16計(jì)算精度BF16兼顧性能與精度exe_modeeager執(zhí)行模式即時(shí)執(zhí)行非圖模式enable_profilerfalse?關(guān)鍵關(guān)閉性能剖析Baseline 不采集數(shù)據(jù)with_ckpttrue啟用檢查點(diǎn)enable_cache_compilefalse?關(guān)閉緩存編譯enable_static_kernelfalse?關(guān)閉靜態(tài)內(nèi)核custom_params子字段自定義優(yōu)化開關(guān)見下custom_params自定義優(yōu)化Baseline 全部關(guān)閉enable_npu_rmsnorm:false關(guān)閉 NPU 原生 RMSNormenable_add_rmsnorm:false關(guān)閉 AddRMSNorm 融合這是第4章要優(yōu)化的核心enable_prefetch:false關(guān)閉預(yù)取prefetch_size:18874368預(yù)取大小雖關(guān)閉但保留默認(rèn)值2data_config數(shù)據(jù)配置dataset:default使用默認(rèn)數(shù)據(jù)集input_truncated_len:256輸入截?cái)嚅L度最多 256 token3parallel_config并行配置全部為1表示單卡運(yùn)行無張量并行/專家并行world_size: 1attn_tp_size: 1注意力張量并行moe_tp_size: 1MoE 張量并行embed_tp_size: 1嵌入層并行l(wèi)mhead_tp_size: 1輸出頭并行4scheduler_config調(diào)度與生成配置max_new_tokens:64最多生成 64 個(gè)新 tokenbatch_size:1單批次推理enable_thinking:false關(guān)閉思考模式Qwen3 特有2.2.2 使用 recipes 命令啟動(dòng)推理%%bash set -euo pipefail # 激活虛擬環(huán)境如果有 source /mnt/workspace/gitCode/cann/cann-learning-hub/tutorials/llm_inference/qwen3_8b/venv/bin/activate # recipes 原生啟動(dòng)命令 echo recipes 啟動(dòng)命令: echo cd ${QWEN3_RECIPE_ROOT} echo bash executor/scripts/infer.sh --model qwen --mode offline --yaml ${QWEN3_RUN_YAML} cd ${QWEN3_RECIPE_ROOT} bash executor/scripts/infer.sh --model qwen --mode offline --yaml ${QWEN3_RUN_YAML} 21 | tee ${QWEN3_RUN_LOG}這部分是 Baseline 推理的實(shí)際啟動(dòng)命令核心作用是通過 recipes 框架在昇騰 NPU 上真正跑一次 Qwen3-8B 推理。注意這部分需要在原代碼開頭加一行激活虛擬環(huán)境的代碼如果有recipes 是什么recipes是昇騰 CANN 生態(tài)里的一套“大模型推理樣例框架”它不是模型本身也不是 PyTorch而是怎么在 NPU 上把某個(gè)大模型跑起來的工程封裝。infer.sh 是什么qwen3_8b/src/inference_scripts/recipe_qwen3_8b/executor/scripts/infer.sh 是 recipes 的統(tǒng)一推理入口腳本。主要任務(wù)解析參數(shù) → 加載環(huán)境 → 定位 YAML → 校驗(yàn)配置 → 調(diào)用launch函數(shù)真正在 NPU 上跑推理。2.2.3 讀取recipes運(yùn)行結(jié)果case_dir find_recipe_case_dir(RECIPE_ROOT, BASELINE_YAML) if case_dir is None: raise RuntimeError(f未找到 recipes 結(jié)果目錄{BASELINE_YAML.stem}) recipe_log_path case_dir / log_0.log ensure_recipe_log_ok(recipe_log_path) run_info { stdout_path: os.environ[QWEN3_RUN_LOG], stderr_path: os.environ[QWEN3_RUN_LOG], wall_time_s: time.perf_counter() - float(os.environ[QWEN3_RUN_START_TIME]), recipe_case_dir: str(case_dir), recipe_log_path: str(recipe_log_path), } baseline_metrics collect_recipe_metrics( RECIPE_ROOT, BASELINE_WORK_DIR, baseline_demo, BASELINE_YAML, run_info, model_idstr(MODEL_ID), resolved_model_pathresolved_model_path, model_sourcemodel_source, optimization_modenone, max_new_tokens64, max_input_tokens256, enable_thinkingFalse, ) print([Baseline 推理] 完成, flushTrue)這部分代碼是Baseline推理的收尾階段核心作用是定位推理結(jié)果目錄檢查日志是否正常 收集并保存推理指標(biāo)為后續(xù)分析和對比做準(zhǔn)備。參數(shù)含義參數(shù)值含義optimization_modenone本次是 Baseline無優(yōu)化max_new_tokens64生成長度限制max_input_tokens256輸入長度限制enable_thinkingFalse關(guān)閉思考模式2.3 查看結(jié)果print([結(jié)果查看] 開始, flushTrue) def status_cn(status): return {ok: 通過, warning: 告警, failed: 失敗}.get(status, status) def yes_no(value): if value is None: return 未記錄 return 是 if value else 否 def load_metrics(work_dir, tag): metrics_path Path(work_dir) / metrics / f{tag}_summary.json metrics json.loads(metrics_path.read_text(encodingutf-8)) print(指標(biāo)文件 , metrics_path) print(recipes YAML , metrics.get(recipe_yaml_path)) print(recipes 結(jié)果目錄 , metrics.get(recipe_case_dir)) print(生成文件 , metrics.get(outputs_path)) print(生成 token 數(shù) , metrics.get(generated_tokens)) print(總耗時(shí)(s) , metrics.get(total_time_s)) print(吞吐(tokens/s) , metrics.get(tokens_per_second)) rmsnorm_status metrics.get(rmsnorm_status) or {} print(RMSNorm 融合 , yes_no(rmsnorm_status.get(rmsnorm_fused))) print(AddRMSNorm 融合 , yes_no(rmsnorm_status.get(add_rmsnorm_fused))) sanity metrics.get(generation_text_sanity) if sanity: print(吐字檢查 , status_cn(sanity.get(status)), f警告{sanity.get(num_with_warnings)}, f失敗{sanity.get(num_failed)}) return metrics baseline_metrics load_metrics(BASELINE_WORK_DIR, baseline_demo) print() print(生成文本:) for line in Path(baseline_metrics[outputs_path]).read_text(encodingutf-8).splitlines(): if line.strip(): print(json.loads(line).get(generated_text, )) print([結(jié)果查看] 完成, flushTrue)這段代碼讀取并展示剛才那次推理的完整指標(biāo)和生成文本便于直觀確認(rèn) Baseline 狀態(tài)。運(yùn)行結(jié)果[結(jié)果查看] 開始 指標(biāo)文件 /mnt/workspace/gitCode/cann/cann-learning-hub/Sources/model_inference_optimization/qwen3_8b/run_outputs/baseline_demo/metrics/baseline_demo_summary.json recipes YAML /mnt/workspace/gitCode/cann/cann-learning-hub/Sources/model_inference_optimization/qwen3_8b/recipe_yaml/baseline_demo.yaml recipes 結(jié)果目錄 /mnt/workspace/gitCode/cann/cann-learning-hub/tutorials/llm_inference/qwen3_8b/src/inference_scripts/recipe_qwen3_8b/models/qwen/res/20261013/qwen3_8b_baseline_demo 生成文件 /mnt/workspace/gitCode/cann/cann-learning-hub/Sources/model_inference_optimization/qwen3_8b/run_outputs/baseline_demo/outputs/baseline_demo_generations.jsonl 生成 token 數(shù) 38 總耗時(shí)(s) 5.3463899999999995 吞吐(tokens/s) 7.10759970746616 RMSNorm 融合 否 AddRMSNorm 融合 否 吐字檢查 通過 警告0 失敗0 生成文本: The output of an **attention function** is a **weighted sum of the value vectors**, where the weights are determined by the **similarity between the query vector and each key vector**. [結(jié)果查看] 完成打印內(nèi)容實(shí)際值含義指標(biāo)文件路徑指標(biāo) JSON 的位置recipes YAML運(yùn)行 YAML 路徑用的是哪個(gè)配置recipes 結(jié)果目錄推理產(chǎn)物目錄日志、輸出等存放位置生成文件outputs 路徑生成文本的 JSONL 文件生成 token 數(shù)38實(shí)際生成了 38 個(gè) token總耗時(shí)(s)5.35推理總耗時(shí) 5.35 秒吞吐(tokens/s)7.11每秒生成 7.11 個(gè) tokenRMSNorm 融合否確認(rèn)關(guān)閉AddRMSNorm 融合否確認(rèn)關(guān)閉吐字檢查通過無告警、無失敗3 Profiling分析這部分在Baseline的基礎(chǔ)上打開torch_npu.profiler。torch_npu.profiler 是 PyTorch 在昇騰 NPU 上的性能剖析器它底層會(huì)調(diào)用 CANN / Ascend Profiling? 能力把三層數(shù)據(jù)對起來1Host 側(cè)Python 調(diào)用、PyTorch 算子下發(fā)、CPU 活動(dòng)2CANN 側(cè)算子編譯、任務(wù)調(diào)度、內(nèi)存拷貝、流同步3NPU 側(cè)AI Core / AI CPU / Vector 核上的 kernel 執(zhí)行時(shí)間、耗時(shí)、等待時(shí)間它的目的不是“讓模型更快”而是先看清楚 Baseline 推理里時(shí)間到底耗在哪些算子上了。準(zhǔn)備工作與運(yùn)行環(huán)境工作區(qū)準(zhǔn)備的流程和baseline一致。準(zhǔn)備YAML的時(shí)候準(zhǔn)備的是Profiling YAML在baseline的基礎(chǔ)上打開Profiling。其余運(yùn)行流程與baseline一致。Profiling YAML中model_config.enable_profiler 設(shè)為true其余推理參數(shù)保持和 Baseline 一致。YAML 文件 /mnt/workspace/gitCode/cann/cann-learning-hub/Sources/model_inference_optimization/qwen3_8b/recipe_yaml/baseline_profile.yaml model_path /home/developer/.cache/modelscope/models/Qwen--Qwen3-8B/snapshots/master enable_profiler True # 注意這里的enable_profiler即yaml里打開了profiler enable_npu_rmsnorm False enable_add_rmsnorm False enable_prefetch False prefetch_size None dataset default input_truncated_len 256 max_new_tokens 64 batch_size 1結(jié)果分析[Profiler 產(chǎn)物] 開始 指標(biāo)文件 /mnt/workspace/gitCode/cann/cann-learning-hub/Sources/model_inference_optimization/qwen3_8b/run_outputs/baseline_profile/metrics/baseline_profile_summary.json 生成 token 數(shù) 38 Profiler 開啟 是 Profile 目錄 /mnt/workspace/gitCode/cann/cann-learning-hub/tutorials/llm_inference/qwen3_8b/src/inference_scripts/recipe_qwen3_8b/models/qwen/res/20261013/qwen3_8b_baseline_profile/prof prof/prefill /mnt/workspace/gitCode/cann/cann-learning-hub/tutorials/llm_inference/qwen3_8b/src/inference_scripts/recipe_qwen3_8b/models/qwen/res/20261013/qwen3_8b_baseline_profile/prof/prefill 一級目錄 7f27e7db10fd4ffda8f0b031bf276588_11042_20261013190353199_ascend_pt kernel_details.csv 已生成 trace_view.json 已生成 prof/decode /mnt/workspace/gitCode/cann/cann-learning-hub/tutorials/llm_inference/qwen3_8b/src/inference_scripts/recipe_qwen3_8b/models/qwen/res/20261013/qwen3_8b_baseline_profile/prof/decode 一級目錄 7f27e7db10fd4ffda8f0b031bf276588_11042_20261013190359433_ascend_pt kernel_details.csv 已生成 trace_view.json 已生成 吐字檢查 通過 警告0 失敗0 Profiler 摘要文件 /mnt/workspace/gitCode/cann/cann-learning-hub/Sources/model_inference_optimization/qwen3_8b/run_outputs/baseline_profile/profiler_summary/baseline_profile_summary.txt Profiler summary from kernel_details source: /mnt/workspace/gitCode/cann/cann-learning-hub/tutorials/llm_inference/qwen3_8b/src/inference_scripts/recipe_qwen3_8b/models/qwen/res/20261013/qwen3_8b_baseline_profile/prof/decode/7f27e7db10fd4ffda8f0b031bf276588_11042_20261013190359433_ascend_pt/ASCEND_PROFILER_OUTPUT/kernel_details.csv OP Type Count Total(us) Ratio(%) ---------------------------------------------------------------------------------------- aclnnMatmulWeightNz_MatMulCommon_MatMulV2 435 36531.740 68.653 aclnnMul_MulAiCore_Mul 978 3579.760 6.727 aclnnPowTensorScalar_PowsAiCore_Pows 435 2855.780 5.367 FusedInferAttentionScore 108 2413.320 4.535 aclnnMean_ReduceMeanAiCore_ReduceMean 435 2318.040 4.356 ... aclnnInplaceOne_OnesLikeAiCore_OnesLike 3 35.100 0.066 aclnnEmbedding_GatherV2AiCore_GatherV2 3 31.100 0.058 ... 僅顯示前 24 行共 35 行 [Profiler 產(chǎn)物] 完成[分析結(jié)論] 開始 摘要類型 kernel_details 生成 token 數(shù) 38 Baseline RMSNorm 融合 否 Baseline AddRMSNorm 融合 否 Top 算子: - aclnnMatmulWeightNz_MatMulCommon_MatMulV2: 次數(shù)435總耗時(shí)(us)36531.740占比68.653% - aclnnMul_MulAiCore_Mul: 次數(shù)978總耗時(shí)(us)3579.760占比6.727% - aclnnPowTensorScalar_PowsAiCore_Pows: 次數(shù)435總耗時(shí)(us)2855.780占比5.367% - FusedInferAttentionScore: 次數(shù)108總耗時(shí)(us)2413.320占比4.535% - aclnnMean_ReduceMeanAiCore_ReduceMean: 次數(shù)435總耗時(shí)(us)2318.040占比4.356% - aclnnInplaceCopy_CastAiCore_Cast: 次數(shù)873總耗時(shí)(us)1377.980占比2.590% - aclnnScatterNdUpdate_ScatterNdUpdateAiCore_ScatterNdUpdate: 次數(shù)216總耗時(shí)(us)1090.060占比2.049% - aclnnAdds_AddAiCore_Add: 次數(shù)441總耗時(shí)(us)625.340占比1.175% - aclnnRsqrt_RsqrtAiCore_Rsqrt: 次數(shù)435總耗時(shí)(us)533.560占比1.003% - aclnnAdd_AddAiCore_Add: 次數(shù)219總耗時(shí)(us)473.720占比0.890% 結(jié)論: - Baseline YAML 中 Dense RMSNorm 兩個(gè)融合開關(guān)均為關(guān)閉因此本章看到的是融合前的執(zhí)行鏈路。 - 摘要中沒有直接出現(xiàn)融合后的 RMSNorm 算子名說明 Baseline 仍按小算子鏈路執(zhí)行。 - 結(jié)合 QwenRMSNorm 的計(jì)算式摘要中的歸一化相關(guān)小算子包括aclnnAdd_CastAiCore_Cast、aclnnArgMax_CastAiCore_Cast、aclnnGather_CastAiCore_Cast、aclnnInplaceCopy_CastAiCore_Cast、aclnnMax_ReduceMaxAiCore_ReduceMax、aclnnMean_ReduceMeanAiCore_ReduceMean、aclnnPowTensorScalar_PowsAiCore_Pows、aclnnRemainderTensorScalar_BroadcastToAiCore_BroadcastTo。 - 摘要中也可以看到殘差 Add 相關(guān)算子aclnnAdd_AddAiCore_Add、aclnnAdd_CastAiCore_Cast、aclnnAdds_AddAiCore_Add。 - 下一章保持 recipes 的 YAML infer.sh 工作流只切換 Dense RMSNorm NPU 融合開關(guān)對比精度、吐字健康和吞吐變化。 分析文件 /mnt/workspace/gitCode/cann/cann-learning-hub/Sources/model_inference_optimization/qwen3_8b/run_outputs/profiling_analysis_summary.json [分析結(jié)論] 完成算子耗時(shí)排名排名算子次數(shù)耗時(shí)(us)占比屬于什么1MatMul?43536531.7468.65%?線性層QKV/O/FFN2Mul?9783579.766.73%RMSNorm 小算子?3Pow?4352855.785.37%RMSNorm 小算子?4FusedInferAttentionScore?1082413.324.54%注意力融合算子5ReduceMean?4352318.044.36%RMSNorm 小算子?6Cast8731377.982.59%類型轉(zhuǎn)換7ScatterNdUpdate2161090.062.05%KV Cache 更新8Adds441625.341.18%殘差 Add?9Rsqrt?435533.561.00%RMSNorm 小算子?10Add219473.720.89%殘差 Add?可以看出MatMul矩陣乘法耗時(shí)最長其余部分RMSNorm 被拆成了 8 個(gè)小算子殘差 Add 也是小算子沒有融合。Profiling 分析證實(shí)了 RMSNorm 未融合時(shí)被拆成 8 個(gè)小算子Pow/ReduceMean/Rsqrt/Mul 等導(dǎo)致launch 次數(shù)多、訪存多、耗時(shí)高是明確的性能瓶頸。下一章將打開enable_add_rmsnorm融合開關(guān)用 A/B 對比驗(yàn)證優(yōu)化效果。trace_view.json 時(shí)間線圖譜trace_view.json時(shí)間線圖譜呈現(xiàn)了 Qwen3-8B 在昇騰 NPU 上Prefill?與Decode?兩個(gè)階段的執(zhí)行特征。Prefill對應(yīng)prof/prefill即處理輸入提示詞的階段。時(shí)間跨度與標(biāo)記整體約 150ms50ms-200ms標(biāo)記為ProfilerStep#0末尾帶有Dec? 標(biāo)記暗示向 Decode 階段的過渡。算子形態(tài)NPUStream 46/49上的色塊相對“大塊”雖然密集但多為一次性大粒度計(jì)算如首輪的 QKV 大矩陣乘。重疊與頻率CPUPython/CANN與 NPU 有明顯的調(diào)度交互。底部Overlap Analysis中 Computing 與 Free 交替由于僅執(zhí)行一次整體耗時(shí)較短未暴露出小算子的反復(fù)累加效應(yīng)。Decode時(shí)間跨度與標(biāo)記整體約 350ms100ms-450ms包含#3、#4、#5連續(xù)多步每步對應(yīng)一個(gè)或幾個(gè)Token 的生成。極度密集的細(xì)碎條紋這是最核心的視覺特征。NPU 時(shí)間線上布滿高頻、細(xì)碎的彩色條紋直觀對應(yīng)了前文數(shù)據(jù)中435次 MatMul? 以及伴隨的Pow/ReduceMean/Rsqrt/MulRMSNorm 未融合等小算子。多流并行Stream 46 與 Stream 49 交錯(cuò)CANN 線程持續(xù)調(diào)度AI Core 頻率滿載淺藍(lán)色長條說明計(jì)算單元持續(xù)忙碌。對比維度PrefillDecode性能含義執(zhí)行次數(shù)?單次Step#0多次迭代Step#3/4/5Decode 重復(fù)放大了局部開銷算子粒度?相對大塊計(jì)算密集極度細(xì)碎訪存/調(diào)度密集?Decode 中小算子 Launch 開銷顯著時(shí)間線密度?密集但無高頻鋸齒滿屏細(xì)碎條紋印證 RMSNorm 拆分成 4~8 個(gè)小算子耗時(shí)占比?較短~150ms較長~350ms端到端吞吐受 Decode 階段主導(dǎo)圖譜直觀揭示了Decode階段因 RMSNorm 未融合產(chǎn)生大量小算子調(diào)度細(xì)碎條紋是端到端性能的可優(yōu)化瓶頸Prefill 則相對健康。后續(xù)
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
又大又粗九一在线| 96丁香六月婷婷蜜桃综合久久| 深爱五月天天| 91九色PORNY大屁股| 九九综合精品| 99精品久久| 丁香色五月婷婷17C| 99热这里有精力| 色伊人婷婷| 色婷婷91| 婷婷久草| 色五月 激情婷婷 综合五月天| 婷婷综合| 这里只有精彩亚洲视频推荐| 伊人五月婷婷国产视频| 色色色色五月天| 九九精品自拍| 无码日本精品XXXXXXXXX| 九九精品这里只有| 狠狠色婷| 亚洲99综合| 超碰国产在线观看| 开心激情网在线| 超碰在线观看99| 激情五月综合网| 99久久精彩视频。| 色狠狠色综合久久久绯色aⅴ影视| 99秘 在线| 丁香婷婷天堂| 99热1| 五月天婷婷基地综合网| 六月激情婷婷| 婷婷激情五月天视频在线| 9精品国产在热久久| 丁香五月色| 九九综合网色全集 | 丁香五月婷婷免费视频| 日本天天操| 伊人色综合影院视频| 五月婷婷丁香| 亭亭五月激情亚洲在线| 欧美精品啪啪| 五月天大香蕉av| 色亭亭五月天丁香综合AV - 百度 - 百度 | 69超碰在线| 五月丁香婷爱在线| 色久播播| 成人午夜在线视频| 青柠影视免费高清电视剧| 九六五月天婷婷| 67194线路二在线观看| 99色色网| 丁香六月毛片| www.99视频| 丰满少妇乱A片无码| 婷婷五月成人系列| 丁香五月AV| 99日本黄站| 激情图片亚洲| 碰碰操91| 丁香五月亚洲综合丝袜| 色天堂在线| 五月色综合| 五月婷婷我| 五月丁香好婷婷A片网| 五月天婷婷久久| 97婷婷五月| 另类精品视频在线观看| 五月婷婷黄网站大全| 天天干电影| 久久香蕉影院| 婷婷色吧| 五月丁香色停停啪啪啪| 婷婷丁香五月综合| 亚洲无码11| 午夜 外网 精品 在线| 五月婷婷黄色毛片| 五月丁香啪啪网| 激情丁香五月天图片| 婷婷五月花| 99视频精品在线| 日日夜夜小色哥| 五月天大香蕉| 国产肏屄大片| 久久99免费视屏| 97色色视频| jizzdr| 国产99美少妇| 婷婷五月丁香花综合| 欧美性猛交99久久久久99按摩| 久久婷婷亚洲| 五月婷婷丁香网| 色婷婷中文字母五月丁香| 久久大香蕉伊人| 人妻丰满精品一区二区A片| 婷婷欧美| 久久久久久人妻久久久久久久久久人妻久久久| 亚洲人妻一区二区| 99秘 在线| 啪啪一区| 婷婷九色| www99精品亚| 五月丁香狠狠爱| 碰97久久| 日本天天操| 国产另类综合| 婷婷丁香五月噜噜噜| 网站免费一站二站| 伊人网大香| 久久人妻伊人| 激情婷婷色五月| 岛国资源网| 99久久9| 五月天婷婷色情| 亚洲激情四射色| 久久五月丁香| 色婷婷电影网| 99婷婷| 激情五月婷婷五月丁香五月开心五月| 狠色狠色综合久久| 天天日天天做天天操| 五月婷婷开心深| 欧美色色干| 人人操碰| 色久99| 色综合久久久无码中文字幕999| 99久在线精品99re8热| 色色99| 这里只精品热在线18| 伊人五月久久| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 久草婷婷网| 91久久| 91九色无码日韩| 五月丁香婷婷AV| 色婷婷在线视频综合| 丁香婷婷五月天校园春色| 操碰99| 国产亚洲精品AAAAAAA片| 亚洲综合激情五月久久| 日韩啊啊啊| 丁香五月天激情婷婷丁香六月 | 色亭亭影园| 婷婷成人基地| 日韩精品呦呦va| 人人肏逼视频在线一区二区| 亚洲成人日韩无码精品| 97碰成超视频免费视频| www.91九色| 激情六月婷婷| 99久久婷婷国产综合精品青桔| 久久婷婷婷| 丁香婷婷黄网站| 五月色婷| 色五月av伊人| 欧美日本va| 日本婷色| 99精品网| www.9操| 五月婷婷黄色网址| av操一操| 日本片日本片祼观看网站在线看中文版网页在线看 | 色婷婷AAA| 六月丁香婷婷色狠狠久久| 26uuu视频欧美| 亚洲五月婷婷在线| 天天天天天日| 91精品久久久久| 26uuu亚洲| 99精品在线| 97色色网| 久草婷婷视频| 六月婷婷激情| 五月婷婷无码专区| 五月激情在线| 亚洲色啪| 天天色2017| 亚洲无码你懂的| 五月丁香啪啪综合网| 天天日天天舔天天摸| 久热2025无码| AV性爱网| 99re在线播放| .comwww在线观看免费操| 五月婷在线影院| 五月色婷婷在线观看| 天天艹天天色| 色五月婷婷综合| 国产精品成人在线| 五月丁香六月婷婷久久| renrencaoni| 这里只有精彩亚洲视频推荐| 丁香五月色情| 一本久婷婷综合| 伊人玖玖精品| 狠狠操.COM| 婷婷成人五月天成人文学| 婷婷久久五月天| 久99久热| 成人五月丁香花| 99久久99视频| 中文国产五月天| 五月婷婷色综图片| 婷婷在线日韩综合| 国产成人网| 伊人色欲五月天| 五月丁香六月婷| 精品亚洲国产成人A片在线鸭王| 琪琪布丁香社区激情五月天| 婷婷五月丁香啪啪| 丁香五月婷婷88在线| 国产在线另类五月婷婷| 丁香五月在线| 97se视频在线| 免费观看欧美成人AA片爱我多深 | 成人丁香婷婷| 小色小蛇伊人婷婷色香五月| 色五月婷婷视频| 大香蕉久热| 国产,欧美,学生妹,视频| 99热偷拍| 婷婷丁香射射| 性色九九| 婷婷九月激情| 国产五月婷| 欧美日韩一区二区三区四区| 亚洲色婷婷五月天| 色色色综合视频| 第九色区av天堂| 亚洲色vA| 五月丁香婷婷99| 五月天播播| 婷婷99中文字幕| 91超级碰| 十一月婷婷激情四射| 五月色丁香| 亚洲欧洲另类| 97热精品| 开心五月婷| 好大好粗嗯啊-一级黄色大片免费观看-成人AV| 欧美色色色色色| 精热在线综合网| 日韩av免费版| 日本久久网| 欧美色小说婷婷| 久久久人人操A V| 五月婷婷激情五月| 色婷婷五月天激情久久| 在线观看亚洲视频影院| 91午夜婷婷狠狠久久综合9色| 丁香月六月| 99ri国产| www.com任你艹| 深爱五月激情五月| www.99日本| 色亚洲色宗合| 人妻综合网| 97超级碰| 欧美顶级少妇做爰HD| 婷婷丁香色五月久久88| 极品人妻VIDEOSSS人妻| 久久视频婷婷视频| 香蕉AV777XXX色综合一区| 99综合在线| 9久久久久久久久久久| 五月亭亭欧美女人| 激情图片久久| 激情五月天啪啪| 久久久久人妻网址| 色色色色区| 亚洲丁香五月美女| 超碰在线观看三级片| 日韩狠狠色婷婷| 丁香五月综合| 夜夜天天久久婷婷| 久久九九激情五月天 | 91狠狠综合久久| 第五婷婷伊人丁香色| 99啪啪网| 丁香五月性| 欧美日韩成人高清在线| 色综合av超碰| 五月综合丁香婷婷| 激情五月丁香五月| 99日韩| 婷婷五月综合色中文字幕| 五月叮香啪| 99爱免费在线观看| 桃色五月婷婷| 色婷婷影院| 婷婷五月精品中文字幕| 婷婷国产五月天17c| 99精品成人无码A片观看金桔| 日韩在线视频网站| 色五月激情| 一级性爱视频| 色亭亭五月天丁香综合AV - 百度 - 百度| 涩婷婷五月天| 婷婷五月在线播放| 26uuu亚洲| 狠狠插日日干撸| 天天擼久久擼在线| 婷婷五月天在线综合| 婷婷中文字幕版| 日本天天综合| 五月天色导航| 欧美激情综合色综合| 五月色婷婷激情| 色的色综合| 四色永久成人网站| 亚洲中文丁香| 综合逼五月激情婷婷| 激情五月开心五月在线视频| 五月色婷婷影视在线电影| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 亚洲字幕AV一区二区三区四区 | www五月| 97色色网| 无码少妇高潮喷水A片免费| www九九热| 狠狠狠狠狠| 丁香在线视频| 中文成人在线| 国产黄色大片| 碰超99| 激情欧美五月丁香| 久久视频在线视频| av在线观看网站| 亚洲五月婷婷在线| 久草视频大香蕉99| 开心五月网 | 小色小蛇伊人婷婷色香五月| 色色五月天激情| 亚洲五月天婷婷综合| 亚洲AV第二区国产精品| 国产精自产拍久久久久久蜜 | 婷婷丁香五月六月激情| 日韩无码91| 热久久91| 天天操天天日天天操| 五月天婷婷激情小说电影| 亚洲天堂大香蕉| 99色色网| 色五天综合| 超碰免费人| 久草嫩草在线观看| 日韩九九视频| 久久九九大香蕉电院| 五月WWW| 亚洲另类视频| 这里只有精品免费视频| 丁香婷婷激情网站| 黄色毛片精品| 成年人丁香五月| 婷婷丁香色无五月| 日韩草草草草草草草草草草草草| 99热超| 女人高潮内射99精品| 天天舔天天爽| AAA亚洲AV| 丁香五月婷婷AV| 五月激情综合婷婷| 久久久人妻| 日本五月天网站| 在线综合婷婷| 丁香女人五月天| 亭亭五月激情亚洲在线| 手机旧版看人妻1025| www.狠狠| 日本 欧美在线| 这里只有精品视频看看| 激情丁香婷婷| 男人天堂 久久| 丁香综合伊人| 日良久久| 色欲五月丁香| 五月天合网| 噜噜视频| 综合久久十三| 99成人网站| 亚洲国产精品VA在线看黑人| 色网五月婷婷| 五月激情五月丁香| 在线成人网站| 色99超碰| 久久五月激情网| AV在线免费网站| 草草色情综合网| 五月丁香啪啪啪| 婷婷六月久久综合导航| 成人做爰黄A片免费看直播室男男| 99视频网址| 热成人网| 久草婷婷网| 六月丁香啪啪| 亚洲天堂爱爱| 五月天婷婷色色网| 丁香五月手机在线| 婷五月天| 狠狠色噜噜狠狠| 五月婷婷激情网| www99久久| 五月天另类视频| 激情婷婷丁香| 色狠狠六月| 99无码视频| 99九无网码| 丁香婷婷噜噜| 婷婷色基地在线看| 五月天狠狠网| www.夜夜爱.com| 99亚洲大片精品永久在线观看| 天天天干夜夜夜操| 天天情天天狠天天透| www.jiujiujiu| 丁香五月天堂网AV| 丁香婷婷月| 97久操| 色婷五月天综合网| 亚洲国产色婷婷| www.26uuu.com亚洲电影| 激情五月图| 色之综合网| 美女五月天婷婷| 天天日日夜夜爽| 激情网五夜婷婷| 九月婷婷| 丁香六月激情四射| 99re这里只有精品视频了| 99热久草| 岛国av网站| 亚洲人人操| 五月丁香啪啪综合网| 少妇高潮呻吟A片免费看软件| 国产精品久久久久久喷浆| 五月丁香六月婷综合成人综合| 91久久久久久久91| 色性五月天| 99黄色性生活| 五月天婷婷xxx| 婷婷五月丁香五月| 天天射综合网站| 久婷| 久久久久9999| 狠狠做五月| 天天粽合合合合| 就爱射中文字幕资源网| 九九热最新视频| 殴美日比视频| 成人亚洲精品久久久久| 久久精品99久久久久久久久| 99ri视频| 五月丁香欧美| 天天操婷婷| 九九色影院| 97人碰人操| 激情亭亭五月| 六月亚洲婷婷6月中文字幕| 五月天色导航| 97碰人人操| 99热这里只| 91九色最新视频| 色很久综合| 超碰91在线| 婷婷五月天激情在线观看| 思思 热 99| 六月婷婷av| 激情婷婷| 亚州综合色| 色噜噜狠狠色综合伊人| 欧洲激情精品婷婷| 热九九精品| 一级黄在线| 日韩黄色电影| 99亚洲欧洲| 无码网站视频| 亚洲超碰在线| 色色丁香五月| 婷婷五月天天| 久操激情| 婷婷五月天综合亚洲| 六月婷婷香蕉| 激情五月五月五月婷婷| 五月天综合久久| 激情五月天天| 激情五月天丁香| 天天xxxxxx天天日| 激情第四色| 中文字幕亚洲-区久久99婷婷| 九九激情网| 凹凸操Av| 激情综合五月| www.黄色片-久久成人国产精品在线播放-999AV| 婷婷丁香六月影视| 成人在线网| 男女啪啪视频久 9| 丁香五月自拍| 色六月婷婷| 超碰免费观看| 天干干夜夜操| 欧美性猛交99久久久99| 91午夜婷婷狠狠久久综合9色| 91人人操人人| 狠狠色综合网站久久久久| 亚洲激情综合| 久热91| 五月激情婷婷在线| 九月丁香八月婷婷加勒比| 五月丁香激情四射综合| 第四色五月天| 亚洲综合五月天婷婷| 五月丁香A片| 99色热视频在线| 懂色av粉嫩av蜜臀av| 色五月激情网| 久久丝袜婷婷| 色色色色区| 婷婷网五月| 99人人干| 玖玖视频福利| 国产无人区大片| yw国产AV| 九月婷婷综合八月丁香在线观看| 国产成人网| 五月天婷婷激情网| 女高怪谈在线观看| 超碰69天堂| 五月丁香 久久久| 99久久6| 婷婷99丁香| xx色综合| 嫩草AV久久伊人妇女超级A| 91久久综合| 无套内射极品大美女| 久久男人网婷婷| 99热99精品在线观看| 色五月婷婷色| 亚洲激情综合| 中文字幕激情综合| 五月婷婷亚洲色视频| 五月天深爱激情网| 亚洲激情免费视频| 丁香涩涩爱| 五月天久久www| 亚洲午夜精品久久久久久人妖 | 啪啪夜久久| 五月黄色婷婷| 丁香六月成人网| 7777久久亚洲中文字幕| 九九中文色色| 91xxxx九色| 888久久久| 97碰碰人人视频| 五月婷综合| a毛片二逼wwwwwwwwww| 婷婷综合国产| 99在线视频女女视频| 伊人久久大香线蕉AV最新午夜| se婷97| 中文字幕婷婷在线| 五月婷在线影院| 五月婷啪| 五月色情婷婷| 婷婷六月插屄激情| 中文字幕婷婷五月天在线观看| 可以直接看的AV网站| 成人性爱精品视频| 激情图片五月天| 波多野结衣AV无码Porn| 激情视频网址| 色色色色综合网| 国产FREESEXVIDEOS性中国| 熟妇人妻中文字幕无码老熟妇| 在线理论片| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 婷婷五月天中文字幕| 五月天婷婷社区久久综合| 激情四射婷婷| 噜噜噜噜噜在线| 五月激情婷婷六月丁香| 欧美综合激情五月| 五月丁香影视| 天天操天天操天天操天天操天天操 | 色色五月丁香婷婷综合| 97se视频在线| 日日天天天| 日日操,夜夜爽| www.99热| 大香蕉AV在线| 久久久久久五月天| 五月色丁香婷婷综合| 第五婷婷伊人丁香| 国产色丁香| 伊人狠狠干| 欧美日韩AAAA| 激情久久久久久久久久久| 色噜噜狠狠色综合无码久久欧美| caopeng超碰| 五月天基地| 久9热视频| 图片区 小说区 区 亚洲五月 | 狠狠狠人妻| 91视频综合网| 亚洲丁香花五月丁香花| 婷婷综合欧美| 亚洲色频| 1024国产在线| 色婷婷综合久久久久| 99热在线99| 天天干夜晚夜操| 色婷网| 精品操逼一区二区| 丁香五月天色| 久婷久婷| 琪琪布丁香社区激情五月天| 亚洲无码播放| 99re思思久久| 亚洲无AV在线中文字幕| 久久免费丁香| 亚洲色色色色| 五月天伊人| 哇嘎成人久久| 天天擼久久擼在线| AVDV久久| www.射伊蕉婷婷| 五月丁香婷婷六月天| PORNY九色9l自拍视频成人| 日本人妻伦在线中文字幕| 成人婷婷| 丁香五月婷老师| 婷婷五月天基地| 亚洲色图五月丁香| 五月婷婷激情久久| 黄色网址五月婷婷| 怡红院院久久| 亚洲日韩一页精品发布| 婷婷激情五月吧| 婷婷久久五月丁香| 9人人操人人看| 可以看的AV| 丁香激情综合| 五月天性色| 99热精品在线| 日韩抽插操逼| 99精品在线观看| 亚洲色情久久| 99热精品中文字幕| 亚洲色婷婷| 综合色色网| 成人综合AV| 丁香婷婷91在线观看视频| www.激情五月天.con| 色婷婷五月中文字幕在线dvd| 九月丁香久久网| 久久五月婷综合网| 久久人人做人人妻人人玩精品va| 中文不卡一二三区| 老师的粉嫩小又紧水又多A片视频| 玖月婷婷爱丁香| 色色色综合| 色婷婷五月天天天天天| 一级黄色影片| 色国产五月| 国自产拍偷拍精品啪啪一区二区| 婷婷丁香高潮了| 国产精品天天狠天天看| 丁香五月天av| 婷婷九九色| 深爱激情丁香五月| 91在线操| 六月丁香久久| a69在线视频| 国产FREESEXVIDEOS性中国| 五月丁香六月婷婷亚洲激情综合| 精品人妻一区二区三区在| 色婷婷亚洲在线| 久久人人添人人爽添人人片αV | 超碰激情五月| 久超超碰| 五月天合网| 日韩在线观看网址| 日日操夜夜骑| 五月婷中文字幕| 六月婷婷中文字幕| 99热这里只有精品13| 亚洲成人日韩无码精品| 亚洲丁香婷婷丁香五月天激情| 欧美色九| 欧美在线视频99| 深爱丁香激情| 综合激情在线观看| 这里只有精品免费视频| 激情亚洲色图片丁香综合| 五月丁香婷婷激情爱爱| 久久久久网站| 色久在| 五月婷护士| 色噜噜五月天| 成人婷婷色五月天| 99在线播放| 97操操| 激情五月五月五月婷婷| 国产精品国产| 另类小说五月天| 婷婷六月久久综合导航| 99综合久久| 久色精品| 欧美在线97| 日本在线免费中文com.| 丁香五月婷婷亚洲另类| 久久久久久久久久8888| 婷婷伊人网| 激情深爱五月婷婷| 一起操 91N.com| 久久久免费精彩视频| 热99精品视频| 九九色中文| 日本wwww在线| 五月丁香综合网| 丁香五月区| 超碰三级秋霞| 九九色中文| 2005天天干天天1| 丁香色六月婷婷| 色 丁香婷婷| 天天干天干| 婷婷色婷婷| 7EzOBIhNq85TO| 五月婷婷六月丁香玖玖玫瑰91| www.色99| 久久九九大香蕉电院| 久色激情| 风流少妇A片一区二区蜜桃| 综合久久综合五月天婷婷| 丁香九九九九| www.五月激情红色| 五月激情网站| www.9操| 色九月欧美| 成人婷婷五月天| 天天爽天天日| 天天干,夜夜爽| 成人一区在线观看| 这里只有精品热| 五月婷婷综合在线视频小说| 99精彩视频| 色色色色色日韩午夜激情 | www婷婷亚洲| 日本女人久久| 国产性爱在线| 婷婷色网站| 五月亭亭综合五码| 色色色色热| 色停停影院五月天| 久久黄色免费视频| 操逼巨乳91| 三级毛片视频| 国产亚洲在线观看| 少妇激情五月天| 超碰免费在线| 欧美在线97| 午夜婷婷五月天| 99久久网站| 美女伊人久久| 五月色欧美| 五月丁香成人网| 久久婷婷桃花五月天| 五月婷婷亚洲色图| 香蕉久久av一区二区三区| 丁香婷婷六月| 五月天成人小说| 婷婷亚洲综合| 综合色播| 精品成人久久久久久久_一二三四视| 欧美黄色韩日网| 国产无套精品一区二区| 99re这里只有精品视频了| 五月婷六月天| 五月综合激情视频| 五月色丁香激情| 99精品网站| 狠狠狠狠狠草| 天天色综合综合| 热99只有里视频| 国产资源91在线| 亚洲 六月 综合| 婷婷激情五月天视频在线| 五月婷婷激情综合拍| 射久久丁香五月| 欧美VA在线观看| 另类综合婷婷五月天欧美视频| 丁香五月六月激情久久| 精a品a| 五月丁香婷婷综合| 色五月色图| 中文字幕在线免费观看视频| 天天干天天操天天拍| 激情五月天社区| 五月丁香啪啪| 成人网在线观看视频| 狠狠操狠狠色| 亚州精品成人片| 色综合色婷色基地| 99在线观看视频| 色五月激情视频在线综合| 色婷婷成人丁香| 久热这里精品免费| 99亚洲日韩| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 强伦轩人妻一区二区电影| 亚洲中文字幕av| 亚洲色色在线| 99热只有这里才是精品| 婷婷国产成人| 色色综合网站| 中文幕无线码中文字蜜桃| 久草丁香婷婷1024| www.99热这里精品| 丁香成人五月天| 五月综合在线婷婷图片| 开心激情网五月| 色9999日韩国产| 狼人婷婷综合| 五月丁香啪啪综合| 日本一道久久| 99热九九热| 国在线激情网| 久久99网站| 高清激情av在线观看| 久久精品99国产精品日本| 色婷婷五月基地在线| 成人精品一区日本无码网| 五丁香激情综合| 国产又爽又猛又粗的视频A片| 五月丁香激情婷婷综合字幕| 97很鲁在线视频| 免费观看的AV| 丁香伊人五月色婷婷五十路| 开心激情综合| 久青操| 九月丁香婷婷| 色色综合日韩| 婷婷丁香18| 99热.com| 五夜丁香| 天天干天天色综合| 色噜噜,噜噜色| 五月天综合在线网| 婷婷六月久久综合导航| 五月丁香毛片| 五月丁香六月婷| 99在线观看亚洲| 丰满少妇猛烈A片免费看观看| 久久久久久丁香五月| 五月婷婷黄色毛片| 亚洲综合色色| 亚洲第一色色色| 五月天婷婷狂暴白浆| 这里只有精品免费视频| 丁香九九九九| 五月色网| 婷婷伊人视婷婷婷| 欧洲不卡视频| 欧美va国产va| 4399精品一区二区| 久久在这里99| 狠狠婷婷爱| 日韩有码一区| 日本超碰在线| 六月丁香婷婷天堂| 六月婷婷最新网址| 丁香色婷婷| 国产淫熟妇| 亚洲色基地| 亚洲综合激情五月久久| 成年人99热| 综合99视频| 99这里有精品| 亚洲热久久| 激情五月天色色网| 亚洲中字AV电影在线网站| www.狠狠操| 蜜乳9188| 大香蕉懂9| 综合网五月| 五月丁香婷婷开心| 婷婷的99视频网站| 婷婷99视频在线| 91青娱乐青青草| 丁香五月婷婷动漫| 色色丁香五月| 四LLL少妇BBBB槡BBBB| 久久久久人妻精品| 26uuu.| 丁香六月婷婷开心婷婷网| 天天做天天爽| 五月婷婷五月丁香| 狠狠狠婷婷五月综合| 成人 AV播放| 欧美激情综合色综合啪啪五月| 五月丁香色| 99视频综合网| 停停五月天激情网| WWW.亚洲无码| 热99只有精品| 无码激情AAAAA片-区区| 婷婷五月天777| 午夜色婷婷| 熟妇人妻中文字幕无码老熟妇| 欧美色婷婷| 69精品人人人人| 国产成人网站在线观看| 五月丁香婷婷色色| 91热爆在线| 97精品综合| 狠狠舔| 99免费在线视频| 色色色色热热| 99九九精品| 久热2025无码| 欧美顶级少妇做爰HD| 亚洲激情丁香五月基地| 中国女人内射6XXXXX| 亚洲99视频| 嫩草免费视频| 婷婷五月天第三页| 亭亭五月基地在线| www久久久久久久97| 97碰在线| 午夜丁香婷婷| 91欧美日韩综合| 99综合五月免费视频色婷婷| 丁香五月偷拍| www色综合| 激情婷婷五月丁香啪啪啪| 激情婷婷五月天日本系列| 丁香婷婷婷婷十二月在线观看视频| 国产视频婷婷| 丁香婷婷九月| 婷婷五月综合激情| ,99视频久久| 97搞在线| 五月天激情视频| 91男同| 最近韩国日本免费高清观看| 国产精品蜜臀99| 人妻五月天激情开心网| 玖玖综合色| 99这里的视频都是精品| 久久免费高| 66色在线日韩| 激情五月婷黄版| 久久9热好| 天天透天天爱| 色播六月| 少妇性按摩无码中文A片| 天天干狠狠艹| 五月丁香激情四射综合| 九九伊人网| 五月天狠狠草| 成人AV免费观看| 色婷婷成人做爰A片免费看网站| 婷婷五月噜噜| 日本色图综合| 亚洲精品字幕| 99热精品在线| 99热这里只有精品亚洲| 一区二区你懂的| 国产99久久久| 五月丁香婷婷人体| 91成人看片| 国产精品第一国产精品| 色屌丝中文字幕| 色五月成人婷婷| 丁香五月很很肏| 99热综合网| 亚洲视频图片婷婷五月| 婷婷五月色播网| Av中文在线| 久久九九综合| 色婷婷精品小视频| 91丨九色丨大屁股| 婷婷五月激情四月综合| 六月丁香啪| 婷婷亚洲五月丁香综合在线 | 五月天成人综合| 九九精品热| 六月婷婷俺也去| 色播五月丁香婷婷| 九九视频热| 秋霞三及片| 天天色天天日| 中文字幕AV网址| 91性高潮久久久久久久久| 99久久99热这里只有精品| 性爱激情小说AV五月丁香花| 欧美在线| 五月丁香色| 五月天六月婷婷电影| 深爱激情中文五月天av| 9 大屁股在线视频精品| 99视频在线| 成人婷婷| 激情五月六月婷婷| 99rewww| 久大香蕉| 丁香五月欧美婷婷| 五月婷在线观看| 日日干日日| 天天檫天天爽| 怕怕視頻| xx久久| 欧在线一区| 99ri在线视频| 九热...av| 夜夜骑天天操| er99免费视频在线| 天天五月香欧美| 99精品在线观看视频| 99热8在线| JAPANRCEP老熟妇乱子伦视频 | 色色操| 亚洲色图81p| 日本久碰| www.色综合| 国产婷婷色综合AV蜜臀AV| 超碰无码老师| 国产色网站| 热久久77777| 欧美色爱五月天| 亚洲 视频 导航 一区| 91九色精品熟女内射| 亚洲亚洲人成综合网络| 狠狠色狠狠色综合日日91| 操B五月天| 五月婷婷久久激情| 日日杆天天| 综合色色网| 久草婷婷网| 久碰婷婷视频| 五月天婷婷丁香蜜桃91| 五月天狠狠草| 五月天色影院| 婷婷五月精品| 激情五月天色网站| 婷婷激情蜜桃玖玖丁香| 丁香 亚洲 久久| 亚州美女| 99精品偷拍视频| 五月婷婷五月丁香综合| 久久五月天婷婷| 久久性爱视频网站| 婷婷丁香六月天激情四射网| 91精品久久久久久| 人妻操在线看| 超碰女人天堂| 日本三级日本黄色| 久久久久9| 无月播播激情在线观看视频| 九九热视频精品| 万月丁香狠狠爱| 操人无码| 九九热在线视频观看| 五月丁香影视| 99精品视频推荐| 狠狠草婷婷| 久久久久久久人妻| 日韩av手机在线观看| 另类A片| 狠狠插狠狠| 99热在线只有精品| 久久区区一二三av| 国产裸舞福利资源在线视频| 久久超视频| 色五月 婷婷, 大香蕉| 九九精品网站| 天天激情| av九九| 激情综合在线观看| 五月婷婷久草在线视频综合| 色噜噜五月天| 亚洲一级 片内射网站在线观看| 亚洲小视频免费观看| 手机旧版看人妻1025| 日逼AV影音先锋男人资源站| 久久五月婷婷电影| 五月激情天| 懂色av粉嫩av蜜臀av| site:hcxsz888.com| 久久婷婷五月综合啪| 中国无码av| 综合久久婷婷五月丁香| 五月丁香色婷婷色| 九九草草逼| 再次出发二| 91九色首页| 99热在线网站| 亚洲人妻一区二区| 婷婷五月天社区| 丁香六月啪啪啪| 久久婷婷五月免费视频| 激情五月婷婷综合网| 99精品这里只有免费视频 | 激情综合99| 婷婷激情啪啪| 亚洲一区二区无码蜜乳av| 丁香五月综合| 激情婷婷丁香五月天小说| 操逼巨乳91| www.九月婷婷丁香.com| 六月五月婷婷| 极品人妻VIDEOSSS人妻| 欧美噜噜噜草| 伊人久久五月天| 九九精品亚洲| 99re热免费观看视频精品| 色五月婷婷777| 五月色 亚洲| 日本久久天堂| 99在线视频播放| 久久9热| 综合啪啪| 99色综合| 婷婷丁香五月激情密臀av| 天堂爱爱| 丁香五月色欲| 99re这里只有| 99人人看| 激情六月五月婷婷综合网| 日本色色色| 狠狠操狠狠操| 五月天大香蕉视频| 九九色热| 婷婷五月天小说网| 可以看的av| 综合网啪| 婷婷五月天少妇| 大香蕉婷婷色| 热久免费视频9| 久久久久这里都是精品| 思思久久精品| 97在线观视频免费观看| 丁香花婷婷五月天| 亚洲四色五月| 久久九色| 色综合激情| 天天色天天搡| 久久六月综合| 五月天婷a在线| 99re6在线视频精品免费| 欧洲日韩一区二区三区| 天天做天天爱天天高潮| 九九一综合精品| 99在线视频网址在线观看| 日日夜夜噜噜爽爽| 91大屁股在线| 五月久久婷婷成人网| 九九干视频| 91大神操美女| 99热18| www.婷婷| 综合五月激情| 拍色综合| 97碰碰视频| 五月婷婷色| A片试看50分钟做受视频| 先锋男人99资源| 91操女| 久久婷婷五月天激情四射| www.五月天婷婷| av狠狠操| 婷婷五月天影视| 色黄啪啪| 婷婷五月天在线视频网站| 久9热在线视频| 五月天激情网站| 亚洲夜夜操| 欧美操我| 五月婷婷激情久久| 狠狠色丁香99| 极品五月天| 婷婷五月天AV在线| 热99国产精品| 91久久精品国产91性色TV| 日韩小视频在线99| 97操碰在线97| 97视频久久| 婷婷色5月天在线。| 亚洲AV日韩在线观看| 五月天婷婷色| 婷婷激情五月天7| 五月停停色| 新激情五月天| 思思热AV| 色色婷婷丁香| 3p日韩网站视频| 久久婷婷五月综合色天| 综合色影| 日本婷婷网| 久久婷婷东京热大香樵| 79精品视频在线观看,| 六月婷伊人| 超91在线视频| 超碰人人操在线| 五月综合亚洲| 日本婷婷在线| 国产亚洲成AV人片在线观黄桃| 日日夜夜婷婷| 五月天综合网| 伊人在线大香蕉网| 久久99网站| dingxiangtingtingliuyue| 9有码中文| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 色色色色色色综合网| 99久在线精品99re5热视频| 99视频超级精品| www.玖玖婷婷在线| 婷婷五月花| 五月天婷婷乱论小说| 自拍偷窥99热| 综合另类激情| 看片视频在线免费日产在线看| 老司机伊人| 五月婷婷五月天激情视频| 五月天丁香啪啪啪啪| 五月色网| 五月激情婷婷播播开心| 美女久久婷婷| 亚洲成人网站在线播放| 五月丁香六月色婷婷| 草草操操| 欧美三级大片AA在线看| 一起草AV| 无码操B| 色五月婷婷开心| 五月天丁香网| 人人操91色| 天天综合色| 亚洲另类婷婷综合| 99思思| 五月丁香av在线| 97视频.干com| 亚洲成人综合网在线免费观看| 五月天社区| 99熟女视频| 噜噜色噜噜网| 这里只有精品,日韩视频| 精品久久久999| 超级碰人人操人人干| 超pen个人视频97| 五月天激情图片| 伊人五月综合网| 9999色色色色| 天堂婷婷五月在线| 色综合99色| 免费无码毛片一区二区A片 | 激情五月天情色| 99精彩视频网站在线| 久久538| 大香蕉婷婷丁香视频在线| 五月丁香龟婷婷| 日日婷婷不卡| 天天日夜夜B久久| 91超级碰碰碰| 久久总和99|