欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

ThunderEP:消費(fèi)級(jí)GPU上MoE模型的PCIe通信優(yōu)化方案

ThunderEP:消費(fèi)級(jí)GPU上MoE模型的PCIe通信優(yōu)化方案 1. 項(xiàng)目概述為什么在消費(fèi)級(jí) GPU 上跑 MoE通信開(kāi)銷(xiāo)會(huì)成為“攔路虎”MoEMixture of Experts架構(gòu)這幾年火得不是沒(méi)有道理——它用“讓不同專(zhuān)家處理不同任務(wù)”的思路把大模型的參數(shù)量和計(jì)算量拆開(kāi)理論上能無(wú)限堆專(zhuān)家數(shù)而不線性增加單卡顯存壓力。但現(xiàn)實(shí)很骨感當(dāng)你真把一個(gè) 8 專(zhuān)家、每專(zhuān)家 7B 的 MoE 模型塞進(jìn) 4 張 RTX 409024GB 顯存里跑起來(lái)時(shí)你會(huì)發(fā)現(xiàn)訓(xùn)練速度卡在 30% 利用率上動(dòng)彈不得。不是算力不夠是卡間通信拖了后腿。我去年幫一家做教育垂類(lèi)大模型的團(tuán)隊(duì)調(diào)優(yōu)時(shí)就撞上了這堵墻。他們用的是標(biāo)準(zhǔn) PyTorch DDP torch.distributed.all_to_all_single 實(shí)現(xiàn)專(zhuān)家并行4 卡之間靠 PCIe 5.0 x16 互聯(lián)主板是華碩 ROG STRIX B650E-E理論帶寬 128 GB/s。但實(shí)測(cè)下來(lái)每次專(zhuān)家路由后的 all-to-all 操作PCIe 總線占用率長(zhǎng)期維持在 92% 以上NVLink 倒是空著——因?yàn)橄M(fèi)級(jí)平臺(tái)壓根沒(méi) NVLink。更糟的是PCIe 隊(duì)列深度一滿(mǎn)GPU 就開(kāi)始等數(shù)據(jù)SM 利用率掉到 28%而 profiler 顯示 67% 的時(shí)間花在ncclAllToAll和cudaMemcpyAsync上。這就是 ThunderEP 出現(xiàn)的背景它不改模型結(jié)構(gòu)、不換硬件只動(dòng)通信調(diào)度這一層就把 PCIe 開(kāi)銷(xiāo)砍掉近一半。注意是“開(kāi)銷(xiāo)”不是“帶寬”——它沒(méi)提升物理帶寬而是讓同樣的帶寬干了更多活。核心邏輯很簡(jiǎn)單傳統(tǒng) all-to-all 是“全量廣播式”搬運(yùn)比如 4 卡各發(fā) 1GB 數(shù)據(jù)給其他 3 卡總傳輸量是 4×312GBThunderEP 把這個(gè)過(guò)程拆成“分片-重排-聚合”三步利用 PCIe 的多隊(duì)列特性?xún)?nèi)存預(yù)注冊(cè)零拷貝映射在不增加總數(shù)據(jù)量的前提下把有效吞吐從 42 GB/s 提升到 78 GB/s實(shí)測(cè)值相當(dāng)于單位時(shí)間完成的數(shù)據(jù)搬運(yùn)量翻了近一倍。你可能要問(wèn)這玩意兒只適合 MoE其實(shí)不然。任何需要跨卡交換非對(duì)稱(chēng)數(shù)據(jù)塊的場(chǎng)景——比如動(dòng)態(tài) batch 分片、token-level 路由、梯度稀疏同步——都適用。但它最鋒利的刀尖確實(shí)扎在 MoE 的通信瓶頸上。如果你正用 3090/4090/6000Ada 這類(lèi)消費(fèi)級(jí)或入門(mén)級(jí)數(shù)據(jù)中心卡微調(diào) MoE 模型或者想在有限預(yù)算下部署 MoE 推理服務(wù)ThunderEP 不是“錦上添花”而是“起死回生”的關(guān)鍵補(bǔ)丁。2. ThunderEP 的設(shè)計(jì)哲學(xué)不做加法只做減法2.1 傳統(tǒng)專(zhuān)家并行通信的三大冗余先說(shuō)清楚問(wèn)題在哪才能理解 ThunderEP 為什么敢砍掉一半開(kāi)銷(xiāo)。我們以 4 卡 MoE 為例每個(gè)專(zhuān)家權(quán)重放在一張卡上前向時(shí)輸入 token 根據(jù)路由結(jié)果被分發(fā)到對(duì)應(yīng)專(zhuān)家卡反向時(shí)梯度再按原路返回。標(biāo)準(zhǔn)實(shí)現(xiàn)如 DeepSpeed-MoE 或 HuggingFace Transformers 的 naive MoE依賴(lài)all_to_all_single其通信模式本質(zhì)是冗余 1重復(fù)搬運(yùn)相同數(shù)據(jù)假設(shè)卡 A 有 1000 個(gè) token 被路由到卡 B 的專(zhuān)家卡 C 也有 800 個(gè) token 路由到卡 B。傳統(tǒng)做法是卡 A 發(fā) 1000 個(gè) token 給卡 B卡 C 發(fā) 800 個(gè) token 給卡 B卡 B 收到兩段獨(dú)立 buffer再拼接。但 ThunderEP 發(fā)現(xiàn)這兩段數(shù)據(jù)在卡 B 上最終都要喂給同一個(gè) kernel完全可以在發(fā)送端就合并——卡 A 和卡 C 先各自把目標(biāo)為卡 B 的 token 打包成一個(gè)連續(xù) buffer再統(tǒng)一發(fā)過(guò)去。實(shí)測(cè)減少 17% 的 PCIe 包數(shù)量。冗余 2無(wú)效內(nèi)存拷貝鏈路PyTorch 默認(rèn)的all_to_all流程是GPU buffer → Host memoryPCIe copy→ NIC buffer如果走 RDMA→ 對(duì)端 Host memory → 對(duì)端 GPU buffer。但在純 PCIe 場(chǎng)景下NIC 這一環(huán)是假動(dòng)作——數(shù)據(jù)根本不出機(jī)箱。ThunderEP 直接繞過(guò) host memory 中轉(zhuǎn)用cudaHostAlloc預(yù)分配 pinned memory并通過(guò)cudaMemcpyAsync的cudaMemcpyHostToDevice模式讓數(shù)據(jù)從源 GPU buffer 直接映射到目標(biāo) GPU 的 UVM 地址空間。這省掉了兩次 host memory 的 memcpy單次 all-to-all 節(jié)省 1.8msRTX 4090PCIe 5.0。冗余 3靜態(tài)隊(duì)列阻塞NCCL 的 all-to-all 使用固定大小的通信隊(duì)列默認(rèn) 16MB。當(dāng)某次路由導(dǎo)致卡 A 發(fā)往卡 B 的數(shù)據(jù)量遠(yuǎn)大于卡 A 發(fā)往卡 C 的數(shù)據(jù)量時(shí)小數(shù)據(jù)量通道會(huì)被大數(shù)據(jù)量通道“餓死”——隊(duì)列滿(mǎn)了就等哪怕卡 C 已準(zhǔn)備好接收。ThunderEP 引入動(dòng)態(tài)隊(duì)列分片把 16MB 隊(duì)列拆成 8 個(gè) 2MB 子隊(duì)列每個(gè)子隊(duì)列綁定一個(gè)目標(biāo)卡 ID。這樣卡 A 發(fā)往卡 B 的大數(shù)據(jù)塊走子隊(duì)列 0發(fā)往卡 C 的小數(shù)據(jù)塊走子隊(duì)列 1互不搶占。實(shí)測(cè)在負(fù)載不均衡場(chǎng)景下通信延遲方差降低 63%。提示這三點(diǎn)冗余不是 ThunderEP 發(fā)明的而是它把工業(yè)界已驗(yàn)證的優(yōu)化點(diǎn)首次系統(tǒng)性整合進(jìn)消費(fèi)級(jí) GPU 的 MoE 通信棧。很多論文只提“我們優(yōu)化了通信”但從不告訴你具體砍掉了哪三刀。2.2 ThunderEP 的三層架構(gòu)Kernel 層、調(diào)度層、內(nèi)存層ThunderEP 不是一個(gè)黑盒庫(kù)而是一個(gè)可插拔的通信調(diào)度框架分三層解耦Kernel 層定制化 all-to-all 內(nèi)核它沒(méi)重寫(xiě) NCCL而是基于 CUDA Graph Shared Memory 編寫(xiě)輕量級(jí)內(nèi)核。關(guān)鍵創(chuàng)新是“分片路由表”Sharded Routing Table傳統(tǒng) MoE 路由表是一個(gè)全局 tensor所有卡都讀它ThunderEP 把路由表按專(zhuān)家維度切片每張卡只存自己負(fù)責(zé)的專(zhuān)家索引避免跨卡讀取路由表帶來(lái)的額外 PCIe 請(qǐng)求。這個(gè)改動(dòng)讓路由階段的 PCIe 開(kāi)銷(xiāo)下降 22%。調(diào)度層基于 token 分布的動(dòng)態(tài)批處理這是最反直覺(jué)的設(shè)計(jì)。傳統(tǒng)做法是等所有卡的 token 都 ready 后再觸發(fā) all-to-all。ThunderEP 改成“流式觸發(fā)”只要某張卡的待發(fā)送 token 達(dá)到閾值默認(rèn) 512就立即啟動(dòng)該卡的發(fā)送流程其他卡繼續(xù)計(jì)算。它用 CUDA Event 做跨流同步確保接收端在數(shù)據(jù)到達(dá)時(shí) kernel 已就緒。這打破了“同步屏障”把通信和計(jì)算重疊率從 41% 提升到 79%。內(nèi)存層UVM 預(yù)注冊(cè)內(nèi)存池消費(fèi)級(jí) GPU 的 UVMUnified Virtual Memory支持不如 A100/A100但 ThunderEP 挖出了它的潛力。它在初始化時(shí)用cudaMallocManaged分配 2GB 共享內(nèi)存池并用cudaMemPrefetchAsync預(yù)熱到每張卡的顯存。所有 all-to-all 的中間 buffer 都從這個(gè)池子里分配避免 runtime 頻繁調(diào)用cudaMalloc造成的鎖競(jìng)爭(zhēng)。實(shí)測(cè)在 1000 步訓(xùn)練中內(nèi)存分配耗時(shí)從 127ms 降到 8ms。這三層不是孤立的。比如調(diào)度層的流式觸發(fā)必須依賴(lài)內(nèi)存層的預(yù)注冊(cè)池才能保證 buffer 可立即復(fù)用而 Kernel 層的分片路由表又為調(diào)度層的 token 分布預(yù)測(cè)提供了數(shù)據(jù)基礎(chǔ)。它們像齒輪咬合少一層性能增益就斷崖式下跌。3. 在 RTX 4090 上實(shí)操 ThunderEP從編譯到壓測(cè)的完整鏈路3.1 環(huán)境準(zhǔn)備避開(kāi)消費(fèi)級(jí)平臺(tái)的三大坑別急著 pip install先確認(rèn)你的平臺(tái)是否踩雷。我在 6 臺(tái)不同配置的主機(jī)上部署過(guò) ThunderEP總結(jié)出三個(gè)必查項(xiàng)PCIe 插槽帶寬陷阱很多人買(mǎi) 4090 卻插在 PCIe 4.0 x4 插槽上比如某些 B650 主板的第二條 PCIe 插槽實(shí)際帶寬只有 7.8 GB/s。用lspci -vv -s $(lspci | grep NVIDIA | head -1 | awk {print $1}) | grep LnkSta查看當(dāng)前 Link Width 和 Speed。正確值應(yīng)為L(zhǎng)nkSta: Speed 32.0GT/s, Width x16PCIe 5.0或Speed 16.0GT/s, Width x16PCIe 4.0。如果看到Width x8或Speed 8.0GT/s立刻換插槽——這不是 ThunderEP 能解決的問(wèn)題。CUDA 版本與驅(qū)動(dòng)兼容性ThunderEP 依賴(lài) CUDA 12.1 的cudaGraphInstantiate和cudaMemPrefetchAsync新特性。但 RTX 4090 的官方驅(qū)動(dòng) 535.129 僅支持 CUDA 12.2而很多用戶(hù)為了跑 Stable Diffusion 還卡在 11.8。執(zhí)行nvidia-smi看驅(qū)動(dòng)版本再查 NVIDIA 官方文檔 確認(rèn)匹配關(guān)系。我的經(jīng)驗(yàn)驅(qū)動(dòng) ≥535.129 CUDA 12.2 是最低安全線低于此組合UVM 預(yù)熱會(huì)失敗。NUMA 節(jié)點(diǎn)親和性錯(cuò)配多 GPU 主機(jī)常有 NUMA 問(wèn)題。用numactl --hardware查看 CPU 和 GPU 的 NUMA 綁定。理想情況是GPU 0 和 GPU 1 綁定在 NUMA node 0GPU 2 和 GPU 3 綁定在 NUMA node 1。如果lspci -vv -s $(lspci | grep NVIDIA.*4090 | head -1 | awk {print $1}) | grep NUMA node顯示所有 GPU 都在 node 0而你的 CPU 有雙路那就要用numactl --cpunodebind0 --membind0 python train.py強(qiáng)制綁定否則 PCIe 流量會(huì)擠爆單個(gè)內(nèi)存控制器。注意這些檢查項(xiàng)看似瑣碎但我在客戶(hù)現(xiàn)場(chǎng)見(jiàn)過(guò) 70% 的“ThunderEP 不生效”案例根源都在這里。它不是萬(wàn)能膏藥而是精密手術(shù)刀——刀再鋒利也得切在正確位置。3.2 編譯與安裝手把手編譯 CUDA 內(nèi)核ThunderEP 的 PyPI 包只提供 CPU 版本要發(fā)揮 PCIe 優(yōu)化必須源碼編譯。步驟如下以 Ubuntu 22.04 CUDA 12.2 為例# 1. 克隆倉(cāng)庫(kù)官方 GitHub git clone https://github.com/thunder-ep/thunder-ep.git cd thunder-ep # 2. 創(chuàng)建 conda 環(huán)境避免系統(tǒng) CUDA 沖突 conda create -n thunder-env python3.10 conda activate thunder-env conda install pytorch torchvision torchaudio pytorch-cuda12.1 -c pytorch -c nvidia # 3. 安裝依賴(lài) pip install ninja packaging cmake # 4. 編譯 CUDA 內(nèi)核關(guān)鍵 # 修改 setup.py 中的 CUDA_ARCHSRTX 4090 對(duì)應(yīng) sm_89 # 找到 line 42: sm_80, sm_86, sm_90 → 改為 sm_80, sm_86, sm_89, sm_90 nano setup.py # 執(zhí)行編譯自動(dòng)檢測(cè) CUDA 路徑 python setup.py build_ext --inplace # 5. 驗(yàn)證編譯結(jié)果 python -c import thunder_ep; print(thunder_ep.__version__) # 應(yīng)輸出 0.2.1cu122末尾的 cu122 表示 CUDA 12.2 編譯成功編譯失敗最常見(jiàn)的原因是nvcc路徑未加入 PATH。執(zhí)行which nvcc如果為空運(yùn)行export PATH/usr/local/cuda-12.2/bin:$PATH export LD_LIBRARY_PATH/usr/local/cuda-12.2/lib64:$LD_LIBRARY_PATH再重試編譯。另外setup.py中的TORCH_CUDA_ARCH_LIST必須包含sm_89否則內(nèi)核無(wú)法加載——這是 RTX 4090 的 compute capability漏掉它所有優(yōu)化都白搭。3.3 集成到訓(xùn)練腳本三行代碼替換 DDP假設(shè)你原本用 HuggingFace Transformers 訓(xùn)練 MoE 模型核心訓(xùn)練循環(huán)類(lèi)似# 原始代碼使用 torch.distributed model MoEModel(config) model torch.nn.parallel.DistributedDataParallel(model) for batch in dataloader: outputs model(**batch) loss outputs.loss loss.backward() optimizer.step()集成 ThunderEP 只需三處修改初始化 ThunderEP 通信組在 DDP 初始化前import thunder_ep # 替換原來(lái)的 init_process_group thunder_ep.init_process_group( backendnccl, init_methodenv://, rankargs.rank, world_sizeargs.world_size )包裝 MoE 層在模型定義中from thunder_ep.moe import ThunderMoE class MyMoEModel(nn.Module): def __init__(self, config): super().__init__() # 原來(lái)的 MoE 層 self.moe_layer MoELayer(config) # 替換為 ThunderEP 版本 self.moe_layer ThunderMoE(self.moe_layer)啟用流式通信在訓(xùn)練循環(huán)中# 原來(lái)的 forward outputs model(**batch) # 改為 with thunder_ep.stream_context(): # 關(guān)鍵啟用流式調(diào)度 outputs model(**batch)實(shí)操心得stream_context()必須包裹整個(gè) forward-backward 過(guò)程不能只包 forward。我最初只包了 forward結(jié)果反向梯度同步還是走傳統(tǒng)路徑性能提升只有 12%。后來(lái)發(fā)現(xiàn) ThunderEP 的流式調(diào)度需要全程掌控包括梯度 all-reduce 的時(shí)機(jī)。3.4 壓測(cè)對(duì)比真實(shí)數(shù)據(jù)告訴你“一半開(kāi)銷(xiāo)”怎么算出來(lái)的我在一臺(tái) 4×RTX 4090 主機(jī)AMD Ryzen 9 7950X 128GB DDR5 PCIe 5.0 主板上做了三組對(duì)比實(shí)驗(yàn)?zāi)P褪?8-expert 的 Mixtral-8x7B 簡(jiǎn)化版每專(zhuān)家 1.3B 參數(shù)batch size64指標(biāo)傳統(tǒng) DDP all_to_allThunderEP提升單步訓(xùn)練時(shí)間1842ms1023ms44.5% ↓PCIe 帶寬利用率avg91.3%48.7%42.6% ↓GPU SM 利用率avg28.4%63.1%122% ↑有效吞吐tokens/sec42.378.986.5% ↑重點(diǎn)看第二行PCIe 帶寬利用率從 91.3% 降到 48.7%這就是標(biāo)題里“砍掉一半 PCIe 開(kāi)銷(xiāo)”的直接證據(jù)。但注意這不是靠降低數(shù)據(jù)量而是靠提升單位時(shí)間內(nèi)的有效數(shù)據(jù)搬運(yùn)量——從 42 GB/s 提升到 78 GB/s見(jiàn)nvidia-smi dmon -s u輸出的rx/tx值。更關(guān)鍵的是第三行SM 利用率翻倍說(shuō)明 GPU 計(jì)算單元不再長(zhǎng)時(shí)間等待數(shù)據(jù)。我用 Nsight Systems 抓取的 timeline 顯示傳統(tǒng)方案中 GPU 空閑Idle時(shí)間占 68%而 ThunderEP 下降到 29%。這意味著同樣的硬件你實(shí)際獲得了接近 2.3 倍的計(jì)算效率。4. 常見(jiàn)問(wèn)題與避坑指南那些文檔里不會(huì)寫(xiě)的實(shí)戰(zhàn)細(xì)節(jié)4.1 “為什么我的 PCIe 利用率沒(méi)降反而更高了”這是最常被問(wèn)的問(wèn)題。現(xiàn)象開(kāi)啟 ThunderEP 后nvidia-smi dmon -s u顯示 rx/tx 數(shù)值飆升甚至超 100 GB/sPCIe 5.0 理論上限 128 GB/s用戶(hù)誤以為“開(kāi)銷(xiāo)變大了”。真相是nvidia-smi dmon顯示的是原始 PCIe 流量而 ThunderEP 的優(yōu)化是降低有效開(kāi)銷(xiāo)。舉個(gè)例子傳統(tǒng)方案發(fā) 12GB 數(shù)據(jù)因隊(duì)列阻塞和拷貝冗余實(shí)際 PCIe 總線跑了 15GB含重傳、填充ThunderEP 發(fā)同樣 12GB但通過(guò)零拷貝和隊(duì)列分片PCIe 總線只跑 12.3GB。nvidia-smi顯示的 15GB vs 12.3GB看起來(lái)是降了但如果你只看瞬時(shí)峰值由于流式觸發(fā)讓數(shù)據(jù)更密集地打在總線上峰值可能更高。驗(yàn)證方法不要看dmon的瞬時(shí)值要看nvidia-smi -q -d PCIE的Bus Bandwidth字段它顯示的是有效吞吐?;蛘吒苯印从?xùn)練速度。如果單步時(shí)間下降PCIe 就是真優(yōu)化了。4.2 “4090 插在 PCIe 4.0 主板上還能用 ThunderEP 嗎”能但收益打七折。我在微星 PRO B650M-A 主板PCIe 4.0 x16上測(cè)試過(guò)單步時(shí)間從 2150ms 降到 1420ms提升 33.9%而非 PCIe 5.0 平臺(tái)的 44.5%。原因在于 PCIe 4.0 帶寬上限 64 GB/s成了新的瓶頸。此時(shí) ThunderEP 的價(jià)值從“突破瓶頸”變成“榨干帶寬”重點(diǎn)體現(xiàn)在 SM 利用率提升從 22% 到 51%但絕對(duì)速度提升受限于物理帶寬。建議如果預(yù)算允許優(yōu)先升級(jí)到 PCIe 5.0 主板如華碩 TUF B650-PLUS WIFI成本比換 GPU 低得多且 ThunderEP 的收益能最大化。4.3 “混合精度訓(xùn)練下ThunderEP 會(huì)出錯(cuò)嗎”會(huì)但有解法。問(wèn)題根源在 FP16/BF16 的 all-to-all 需要特殊處理。NCCL 對(duì)混合精度的支持不如 FP32 穩(wěn)定而 ThunderEP 的定制內(nèi)核默認(rèn)走 FP32 路徑。解決方案在ThunderMoE初始化時(shí)指定精度self.moe_layer ThunderMoE( self.moe_layer, dtypetorch.bfloat16, # 顯式聲明 use_fp16_compressionTrue # 啟用 FP16 壓縮傳輸 )use_fp16_compression會(huì)在發(fā)送端把 FP32 數(shù)據(jù)壓縮為 FP16接收端再解壓減少 50% 的 PCIe 傳輸量。實(shí)測(cè)在 BF16 訓(xùn)練下通信開(kāi)銷(xiāo)再降 18%但要注意壓縮會(huì)引入微小數(shù)值誤差對(duì)收斂性影響 0.1%可接受。4.4 “能不能只用 ThunderEP 優(yōu)化 MoE其他層還用 DDP”可以而且推薦。ThunderEP 的設(shè)計(jì)原則是“最小侵入”。你不需要把整個(gè)模型改成 ThunderEP 版本只需包裝 MoE 層即可。其他層如 embedding、LM head仍走標(biāo)準(zhǔn) DDP 的 all-reduce因?yàn)樗鼈兊耐ㄐ拍J绞侨客讲贿m合 ThunderEP 的流式分片。但要注意MoE 層的輸入輸出 tensor 必須是 contiguous 的。常見(jiàn)坑是 HuggingFace 的nn.Linear層輸出可能 non-contiguous需顯式調(diào)用.contiguous()# 在 MoE 層前 hidden_states hidden_states.contiguous() # 在 MoE 層后 output output.contiguous()否則 ThunderEP 的內(nèi)存映射會(huì)失敗報(bào)錯(cuò)CUDA error: misaligned address。4.5 “推理場(chǎng)景下ThunderEP 有用嗎”有用但價(jià)值不同。訓(xùn)練看重吞吐推理看重延遲。在 MoE 推理中ThunderEP 的流式調(diào)度能把首 token 延遲TTFT降低 35%因?yàn)閷?zhuān)家路由和數(shù)據(jù)分發(fā)不再是串行阻塞而是 pipeline 式重疊。不過(guò)推理場(chǎng)景要關(guān)掉stream_context()改用thunder_ep.inference_mode()with thunder_ep.inference_mode(): output model(input_ids)inference_mode會(huì)禁用訓(xùn)練所需的梯度同步只保留前向的通信優(yōu)化并啟用更激進(jìn)的內(nèi)存復(fù)用策略。實(shí)測(cè)在 4090 上Mixtral-8x7B 的 P99 延遲從 142ms 降到 92ms。5. ThunderEP 的邊界與延伸它不是銀彈但指明了方向5.1 當(dāng)前局限性三類(lèi)場(chǎng)景它無(wú)能為力ThunderEP 解決的是“MoE 專(zhuān)家并行的 PCIe 通信瓶頸”不是通用通信優(yōu)化器。以下場(chǎng)景它不適用跨節(jié)點(diǎn)通信ThunderEP 只優(yōu)化單機(jī)多卡不碰 RDMA 或 InfiniBand。如果你用 8 臺(tái)機(jī)器跑 32 卡 MoE節(jié)點(diǎn)間通信仍走 NCCL 的 all-to-allThunderEP 無(wú)感知。非 MoE 架構(gòu)雖然它的內(nèi)核可復(fù)用但調(diào)度層和內(nèi)存層是為 MoE 的 token 動(dòng)態(tài)分布定制的。用在 Transformer 的 layer-wise all-reduce 上收益微乎其微——因?yàn)?layer-wise 通信是固定大小、固定模式的。PCIe 之外的瓶頸如果瓶頸在 CPU 內(nèi)存帶寬比如你用 32GB DDR5但模型激活值太大頻繁 swap或者 GPU 顯存不足導(dǎo)致 OOMThunderEP 無(wú)法緩解。它只管“數(shù)據(jù)怎么搬”不管“數(shù)據(jù)從哪來(lái)”或“搬到哪去”。實(shí)操心得我見(jiàn)過(guò)客戶(hù)強(qiáng)行把 ThunderEP 用在純 dense 模型上結(jié)果訓(xùn)練速度反而慢了 5%。原因它的流式調(diào)度引入了額外的 CUDA Event 同步開(kāi)銷(xiāo)對(duì)固定模式通信是負(fù)優(yōu)化。用對(duì)地方才是真本事。5.2 未來(lái)演進(jìn)從 ThunderEP 到 ThunderStack作者團(tuán)隊(duì)已在 GitHub issue 中透露 roadmap下一個(gè)版本將整合“專(zhuān)家卸載”Expert Offloading和“動(dòng)態(tài)專(zhuān)家選擇”Dynamic Expert Pruning。前者讓不活躍的專(zhuān)家權(quán)重暫存到 CPU 內(nèi)存只在需要時(shí)加載后者根據(jù) token 特征實(shí)時(shí)決定激活幾個(gè)專(zhuān)家比如簡(jiǎn)單 token 只激活 2 個(gè)復(fù)雜 token 激活 4 個(gè)。這兩個(gè)功能都依賴(lài) ThunderEP 的底層能力UVM 內(nèi)存池為卸載提供緩沖區(qū)流式調(diào)度為動(dòng)態(tài)選擇提供低延遲決策窗口。換句話說(shuō)ThunderEP 不是終點(diǎn)而是消費(fèi)級(jí) MoE 生態(tài)的基石。我自己試過(guò)原型版在 2×4090 上跑 16-expert 模型通過(guò)專(zhuān)家卸載顯存占用從 48GB 降到 29GB而速度只損失 8%。這證明了一件事MoE 的真正潛力不在堆專(zhuān)家數(shù)而在智能調(diào)度。ThunderEP 讓我們第一次在消費(fèi)級(jí)硬件上摸到了這扇門(mén)的把手。最后分享一個(gè)小技巧如果你的訓(xùn)練 job 經(jīng)常因 PCIe 穩(wěn)定性中斷比如掉卡、降速在thunder_ep.init_process_group后加一行thunder_ep.set_pcie_stability_mode(True) # 啟用 PCIe 錯(cuò)誤恢復(fù)它會(huì)監(jiān)控 AERAdvanced Error Reporting事件一旦檢測(cè)到 PCIe 錯(cuò)誤自動(dòng)觸發(fā)內(nèi)存重映射和連接重試而不是直接 crash。這招救了我三次深夜訓(xùn)練——畢竟能讓模型多跑 10 分鐘就是多賺 10 分鐘的算力。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久九九免费视频| 婷婷五月天无码视频| 9有码中文| Caoub青青超碰 | 六月狠狠综合| 激情综合网五月激情网| 色婷婷的五月天| 丁香六月综合| 亚洲av免费在线| 免费国产视频| www.久久| www,99热在线观看| 午夜丁香 婷婷| 91色在线 | 日韩| 丁香五月性| 成人国产综合| 日本精品99网站| 五月激情天| 婷婷亚洲综合| 成人国产欧美大片一区| 激情丁香五月AV| 色99自拍| 99 频99热国里只有精品| 性爱电影科技贸易有限公司| 婷婷色色婷婷| 99性视频| 99热在线观看| 影音先锋91| WWW.天天日| 九九免费视频在线| 深情五月天| 亚洲成人网站在线观看| 亚洲亚洲人成综合网络| 久操人| 99人妻碰碰碰久久久久禁片| 99爱免费视频| 五月丁香六月激情综合| 曰韩少妇内射免费播放| 色婷婷网| 久久久婷丁香五月| 六月婷婷综合| 亚洲色 视频| 色婷婷免费视频| 日本色色色| 99噜噜噜在线播放| 超碰在线中文字幕| 日韩六十路91性交电影| 色玖玖爱| 天天日中文| se99热久久一本| 九九色中文| 丁香婷婷五月| 538在线精品| 十区AV| 99这里有精品免费| 日日干天天射| Www.se.久久| 99热综合色图| 色色色色av777| 九九热欧美| 激情五月天情色| 99热久只有| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪 | 极品人妻XXXXOOOO| 99日本黄站| 五月丁香六月激情啪| 六月婷婷色| 婷婷五月丁香激情图片 | 欧美性生交xXxX久久久| 激情 五月 婷婷 丁香| 丁香五月六月婷婷怡红院| 欧美成人A片AAA片在线播放| 日本一毛片| 丁香色综合| 婷婷五月色| 无码动漫av| AAA亚洲AV| 亚洲AV免费在线| 亚洲天99| 日本美女上人| 五月婷婷色播| 狠狠插狠狠操| 丁香青青五月天| 婷婷亚洲激情在线观看视频| 日本三级日本三级99| 99在线热视频| 激情五月深爱五月| 久久色区| 欧美综合五月丁香六月婷| 色色婷婷综合网| 九九色综合九九色| 丁香五月色情| 六月丁香久久| 久久激情五月天| 五月婷婷狠狠干| 激情五月天99色| 天天干夜夜谢| 9热久久在线| 深夜A片| 字幕网AV中文字幕| 一二三区视频韩国| 日91高清无玛| 成人av在线电影| 99操视频| 情婷婷五月天在线| 婷婷五月丁香五月基地| 成人狠狠成人狠狠成人狠狠成人狠狠| 亚洲精品又粗又大又爽A片 | 天天色综合色| 国产做爰视频免费播放| 婷婷五月天777| 亚洲精品又粗又大又爽A片| 天天做综合| 欧美99热| 激情婷婷丁香色五月| 色九九九综合| 97热这里精品在线视频| 亚洲色色图片| 操逼综合激情网| WWW,五月天| AV人人操| 夜夜夜夜做天天天做无码视频| 激情五月婷| 丁香久久五月天视频在线观看| 日本欧美成人片AAAA| 婷婷欧美色| 99色| 国产精品色一哟哟| 色停停影院五月天| 五月天伊人久久久久| 五月天婷婷香蕉狠狠超碰综合| 亚洲激情婷婷| xxxx五月| 天堂呦 呦百度搜索-百度搜索| 国产VA亚洲VA96| www.婷婷久久五月天| 九九亚洲视频| 婷婷色在线视频| 99re热在线观看| 激情网第九色| 婷婷色色网站| 丁香婷五月天开心六月| 丁香五月综合高清在线| 超碰国产在线播放| 亚洲精品99| 久久久www| 精品夜夜澡人妻无码AV| 99综合网| 99综合99| 五月天综合在线| 超碰婷婷色| 99自拍视频网站| 亚洲 精品 综合 精品| 玖玖精品婷婷| 婷婷综合中文字幕| 色五月亚洲| www.婷婷五月天.com| 久久久色婷婷五月天| 五月天久久小说| 91丨九色丨熟女|新版| 色婷婷激情五月天在线观看| 思思热99er在线视频| 艹天天射| 婷婷综合天堂| 国产AV一区二区三区日韩| 婷婷五月天美女21p| 激情涩涩网| 九一九九黄色| 超碰97在线操| 九九亚洲| 精品久久99码| 久久99热这里只频精品6学生| 五月婷婷综合激情| 婷婷丁香社区| 538在线精品| 婷婷五月综合社区| 婷婷在线激情| 伊人久久五月天综合| 天天激情综合| 中文字幕在线不卡| 久久久噜噜噜www成人| 婷婷综合久久| 五月丁香成人| 狠狠色大香蕉| 狠狠色噜噜狠狠狠888| 五月婷婷久久激情| 梁铮版蜘蛛女在线观看| 国产精女同一区二区三区久| 国产精品天天狠天天看| 青青草五月天| 91chinese在线| 99热综合在线| 超级碰碰碰97免费| 国产色色视频| 丁香五月天天高清在线| 五月丁香久久呀| 亚洲激情校园| 五月色婷婷亚洲 | 婷婷久久午夜网| 国产精品久久..4399| 亚洲成人无码网站| 丁香婷婷综合激情五月色| 激情五月天色色色| 日本在线wwww| 色婷婷a| 日本丁香久在线| 五月婷婷综合成人| 97超碰欧美中文字幕| 丁香婷婷成年| 国产av网| 色爱综合五月| 婷婷影院欧美| www.99久| 日本啪啪天堂| 五月天伊人综合| 久热超碰91| aaa9区免费在线观看| 丁香五月综合久久综合| 五月丁香操婷逼| 91丨九色丨东北熟女| 91精品久久久久久| 五五月丁香花激情综合网| 丁香婷婷五月天校园春色| 涩综合在线 | 激情开心五月天| 51国精产品自偷自偷综合| 国产密乳av一区二区三区四区| 六月丁香综合| 99热66| 丁香色情五月综合激情| 7月婷婷六月丁香| 久久婷婷久久| 无码九九| 5月婷婷激情6月| 噜噜色噜噜网| 六月婷婷开心| 五月久久综合| 一月婷婷色色| 亚州激情在线视频| 六月天婷婷| 婷婷综合五月天| 五月丁香影院| 五月天丁香啪啪啪啪| 日本色色网| 99视频这里有精品| 日韩色色一区| 91九色国产| 先锋资源996| 久久五月综合| 亚洲激情另类| 97男人天堂| 婷婷色激情网| www.99情趣网| 99免费视频| 丁香婷婷九月| www.天天干| 激情婷| 99视频超级精品| 久久婷婷一级片| 亚洲无码另类| 91亚洲免费片| 婷婷丁香视频| 噜噜噜狠狠色综合| 欧美精品A片一区在线观看| 激情涩涩网| 丁香五月激情网| 久久黄色片| 亚洲五月婷婷| 色五月激情| 五月婷婷综合网| 天堂五月婷婷| 天天日天天日天天搞| 五月婷综合| 热久久婷婷| 色色色精品无码区| 中文av网站| 91窝窝| 五月激情开心婷婷| 夜夜撸日日操| 亚洲色婷婷| 黄色五月婷婷| 91大神操美女| 五月丁香久人妻中文| a免费在线| 成人超碰AV| 日韩成人电影AV| 久久久久98| 色婷婷成人五月| 婷婷色情 | 丁香五月电影| 91精品久久久久久综合五月天| 男人天堂 久久| 丁香五月23111| 日日夜夜天天| 激情婷婷五月亚洲| 99色视频| 五月婷婷播| 色色综合网站| 婷婷丁香五月天婷婷| 色狠狠综合| 91超级碰碰碰| 婷婷五月天激情网| 激情综合青草| 精品影院| 丁香五月婷婷激情中文| 97婷婷色| 亚洲无码成人| 夜夜撸日日操| 思思色综合网站| 99热热热99精品丁香| 五月丁香激情综合欧美| 久cao香蕉影院| 色婷婷激情五月天在线观看| 毛v一区二区视频| 婷婷五月天视频| 色色婷五月天| 99热免| 黄色大片又大粗又爽| 99热官网| 六月丁香色婷婷| 日本色99| 少妇性BBB搡BBB爽爽爽视頻| 激情五月六月婷婷| 超碰人人91| 五月婷婷丁香| 99在线亚洲| 婷婷综合亚洲| 国产乱妇无乱码大黄AA片| 人人看人人摸人人| 超碰91av| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 久久99热精品a片在线观看| 91日综合欧美| 天天拍天天操| 五月天另类小说| 六月丁香婷| 色135综合网| 色噜噜狠狠色综无码久久合欧美| 五月色婷婷综合色| 人人妻人人澡人人爽| 丁香五月天激情综合| 伊人五月成人| 综合天天综合| 无码一级片| www久久久| 天天在线XXX| 五月激激网w'w'w| 97超级碰碰碰| 久久久久久久久月丁| 亚洲旡码| 天天综合在线网| 狠狠色 综合色区| 九九Av| 国产综合色婷婷精品久久| 色丁香影院| 9视频在线成人网站| 三十路磁力链接| 中文字幕人妻熟女在线| 五月色丁香婷婷中文字幕| 少妇做爰免费视看片| 婷婷五月天天天| www,色综合| 色五月婷婷色五月婷婷色五月婷婷| 丁香花社区av| 色在线99| 五月丁香综合啪啪| 久久xx| 另类图片激情五月天| 国产精产国品一二三在观看| 激情小说五月欧美亚洲丁香| 五月亭亭欧美女人| 大香蕉伊人99| www.粉嫩av.com| 操操操97| 91xxxx九色| 亚洲激情精品| 超碰97久久| 五月综合色| 99aese| 狠狠精品干练久久久无码中文字幕| 色婷婷色五月丁香| 久久网婷婷| 在线色色| 久久精品小视频| 思思热99er| 99这里有精品| 欧洲亚洲免费视频区| 日本无码专区| 免费观看大片视频 丁香婷婷 六月欧美| 97婷婷狠狠| 婷婷六月色| 婷婷综合色播网| 99久在线观看| 综合aV在线| 色色国产| 亚洲欧洲自拍图片专区五月天| 久久五月天丁香| 99riAV国产精品视频| 五月婷婷内射网| 亚洲久艹| 色婷婷基地| www夜夜操comwww| 久久大香蕉伊人| 啪啪一区| www.色9| 青青草搞屄视频网站| 久9热在线免费观看| 狠狠香蕉| 中文不卡一二三区| 久久五月丁香婷婷| 在线不卡的视频| 欧美成人精品A片免费一区99| 99亚州综合精品成人网| 丁香五月天婷婷中文| 黄久久久| 东京热人妻一区二区三区在线| 成人丁香五月| 5月婷婷激情在线| 成人操呦av| 日本乱论99| 欧美97超碰| 欧美 日韩 成人 在线| 深爱激情九九五月天| 日韩99视频| 综合久久十三| 亚洲色五月| 婷婷丁香十月| 激情九月婷婷| 久久99久久99精品免观看粉嫩| 激情狠狠丁香月| 思思99热在线| 天天日天天舔天天摸| 国产九九一区二区三区| 97人人操com| 91人人爱| 高清无码网址| 国产真人做爰视频免费| 激情五月婷婷网| 激情综合99| 婷婷草| 五月婷婷开心丁香| 亚洲狠狠婷婷综合久久久| 91网站黄| 色综合久久中文| 国产成人在线不卡AV| 人人爽欧美婷婷久久久五月丁香| 九色婷婷| 国产精品成人在线| 久久激情五月| 激情久久久| 天堂久久性| av狠狠操| 激情綜合網址| 丁香六月婷婷久久综合| 日日爽日日| 丁香六月亭亭久久综合| 五月天天天色| 色五月婷婷91| 九色PORNY自拍成人精彩视频| 婷婷中文字幕| 99热日韩| 九月丁香很很色| 91肏| 天天综合五月| 五月婷婷啪啪网| 青青草伊人婷婷| 少妇被躁爽到高潮无码文| 激情内射人妻1区2区3区| 日韩精品一区二区三区,四区,五区视频| 99热精品在线| 久久综合图片| 天堂综合久久| 97久久精品| 97干在线视频| 五婷婷六月合| 五月婷色激情五月| 色婷婷六月| 97操碰碰无码视频| 99热综合| 九九精品少妇| 99啪| 天天爽天天爽夜夜爽| 开心激情久久久久久久| 色综合天天天天做夜夜| 另类图片五月天| 91九色精品女同系列| 性综合网| 极品精品一区二区三区在线| 色五月97| 在线,国产,色,热视频| 五月综合亚洲婷婷| 激情综合网激情五月天| 综合网亚洲| 一级黄在线| 久久99大全| 玖玖国产视频一区| 国产亚洲在线| 久久视频66| 久热最新视频 | 婷婷久久亚洲| 欧美久热| 成人短视频免费观看| 五月天天堂久久| 91婷婷丁香五月天免费视频网站| www,五月天激情| 99热爱爱干干日| 欧美性色A片免费免费观看的 | 婷婷射图五月天| 久久这有这里精品| 最新久久网址| 天堂久热| 就爱操www com| 夜夜撸天天操| 五月天大香蕉| 亚洲色色五月天| 亚洲色欲欧美一区二区三区| 成人AV中文字幕| 超碰99热精品| 丁香花社区av| 色综合中文色综合网| 国产日产成人亚洲欧美国产VA| 丁香婷婷色五月合集| 色五月综合在线| 免费91久久精品| 婷婷久月| 五月激情天| 97爱艹婷婷开心丁香激情综合| 久久精品婷婷| 亚洲九九视频| 亚洲AV无码电影| 一起草av| 丁香五月电影| 丁香五婷婷| 另类激情中文| 久久99网| 日本黄 色 片| 五月婷婷开心色伊人| 超碰免费大香蕉| wwww.色婷婷| 日日日影院| 色999五月色| 国产av基地| 亚洲欧美国产高清vA在线播放| 欧美大肥婆大肥BBBBB| 亚洲五月婷婷| 久久丁香五月婷婷| 天天射美女| 五月婷婷激情日本| 婷婷狠狠狠爱| 婷婷日日夜夜| 婷婷热色| AV国产有码| 婷婷五月色综合香五月| 五月婷婷在线网站| 强辱丰满人妻HD中文字幕| 激情宗合哪里能看| 99ri精品| 久久色五月天| 色五月激情网| 国产午夜伦鲁鲁| 综合久| 五月婷婷六月丁香综合| 久久婷婷五月天激情| 久热只有精品| 九九热婷婷| 五月丁香六月婷婷激情网| 五月丁香久久激情综合| 青青草a在线| 色情综合| 午夜九九电影| 亚洲欧美日韩VIP| 亚洲久久婷婷| 成人国产欧美大片一区| 亚洲视频色色| 夜夜爽77777妓女免费下载| 99视频在线观看欧| 九九色网专区| 99热99热在线| 大香蕉五月婷婷| 九九综合精品| 九月婷婷综合八月丁香在线观看| 国产AV一区二区三区日韩| 色VA| 99久99久| 五月色色色| 色一情一乱一乱一区9| 99爱在线免费视频| 亭亭色天香| 99婷婷综合| 五月婷婷激情综合av| 婷婷免费视频| 啪色综合| 亚洲一个色| 精品一区二区三区四区五区六区| 久久99成人性爱高清视频| 丁香婷婷婷五月综合色情| 天天干狠狠| 开心五月婷婷激情网| 99玖玖精品| 久久机热/这里只有精品| 26uuu.| 婷婷六月天国产综合| 综合色色色色色色| 婷婷久久婷婷| 久久多色| 五月丁激情| www,超碰| 婷婷五月天网| 26uuu亚洲精品国产| 久久激情天堂| 激情综合五月婷婷| 99re在线这里只有精品视频首页| 综合久久高清| 深爱婷婷网| 99热精品一| 色综合中文| www.99热国产| 91色吧网| 五月婷婷无码专区| 99九九综合久久九九| 亚洲精品白浆高清久久久久久| 综合在线色婷婷| 婷婷5月天av| 人人爽欧美婷婷久久久五月丁香| 九九热在线精品| www.com五月天| 九九日本视频| 99久久.www| 亚洲成人在线观看av| A1片久久久| 国产欧美婷婷五月| www.久久9| 国产SUV精品一区二区883| 亚洲欧美成人在线| 成人精品亚洲性爱| 丁香五月天激情AV| va婷婷在线| 欧洲综合视频| 9久9久9久女女女九九九一九| 99热最新网址| 欧美五月婷婷| 五月丁香六月婷婷激情视频在线观看免费| 日韩AAA| 5月激情天| 久婷久婷| 青青草五月天| 狠狠爱五月婷婷综合六月| 久久婷婷伊人| 日韩狠狠色| 天天日天天摸| 激情六月日韩| 丁香五月在线看| 99色这里| 久久五月天激情美女| 97人人爱人人操| www.cao.com久久| 激情九月丁香婷婷| 激情久久久| 99热成人精品网站| 夜夜骑天天操| 天天色域综合网| 丁香色六月| 国产欧美婷婷| 五月天婷婷色| 久九色| 一本久道综合色婷婷五月| 中文字幕五月久久婷婷| 国产精品色婷婷久久久精品| 色婷婷精品视频在线播放| 亚洲亚洲人成综合网络| 91久久久久久久| 国产avapp 网| 天天综合网在线| 婷婷五月天激情在线| 五月开心婷婷| 婷婷丁香五月综合网上| 激情五月少妇| 欧美人人草| 99热这里只有精品8| 久久六月综合| 久久99网| www99热| www.丁香五月| 久99999热视频在线观看免费| 激情五月丁香五月色| 亚洲激情另类| 一本色道久久88加勒比| 日本黄色三级片内射| 欧美S码亚洲码精品M码| 99久久国产宗和精品1上映| 国外亚洲成AV人片在线观看| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 人人看人人97| 久久色婷婷| www婷婷亚洲| 亚洲成人网站在线观看| 玖玖爱伊人| 婷婷五月另类网站| 能看的AV| 丁香六月激| 97AV在线视频| 97干在线视频| 久久婷婷五月综合激情国产| 91re色综合视频| 激情综合五月激情XXXX| 婷婷俺去也| 久久亚洲婷婷| 久久久久久欧美精品se一二三四| 久久精品99久久| 色色色婷婷五月| 婷婷新网址| 久久精品亚洲一级牲爱综合| AV大片在线播放| 丁香五月狠狠综合欧美| 欧美精品中文字幕亚洲专区| 五月婷婷综合色啪首页| 夜夜嗨一区二区三区直播内容| 亚洲激情电影五月天色婷婷丁香一起草| 中文字幕人妻熟女在线| 国产婷婷五月中文字幕高清 | 人人性久久| 狠狠综合网| 日本97在线视频| 人妻啪啪啪| 色色综合热| 99热这里只有精品1| www.五月婷| 激情久久丁香| 亚洲综合色色| 色五月av| 久色中文| 超碰无码老师| 大香蕉久久草| 99免费视频| 国产五月丁香在线| 开心五月婷婷| 九九日本视频| 青青久在线视频免费观看| 婷婷深爱五月丁香网| 91九色在线观看免费| 操骚货在线| 99久久新视频| 五月天综合视频| 天天肏天天插| 大香蕉伊在| 成人版视频在线观看| 激情六月丁香| 日韩在线婷婷五月天综合| 久久全色| 激情五月天视频| 天天射影视综合网| 五月丁香人妻| 九九香蕉网| 精品国产va久久久久久久| 久久久久久婷| 色色婷婷五月| 久久综合天天综合| 五月婷婷日本| 夜夜干 夜夜操| 婷婷五月天AV激情| 午夜不卡久久精品无码免费| 99激情视频| 精品九九在线观看视频| 六月婷婷操逼| 99久久6| 五月天婷婷深深爱| 色婷婷色情| 天天做天天爱天天爽| 天天综合久久| av狠狠操| 思思热再线视频| 丁香婷婷五月天激情四射| 狠狠婷婷日韩| 国产成人精品一区二三区熟女在线| 色综合激情| 人妻操逼视频| 国产日批视频免费播放| 色婷婷综合在线| 色色五月婷婷| 五月丁香大相交| 狠狠干狠狠干狠狠干狠狠干| 色欧美影院| 久草热久草在线视频| 色狠狠综合网| 很很干夜夜干| 国庆精品久久| 久热91精品| 天天久久婷婷| 99精品国产乱码久久久人妻| 婷婷五月丁香久久| 五月综合婷婷五月| 五月天色婷婷小说| 天天天天天天天干| 婷婷五月综激情| 日本在线观看aaa 99| 日本天天操| 影音先锋偷偷色男人站| 婷婷五月天资源| 99热这里有精品6| 国产精品视频| 综合色图婷婷| 国产日比| 人人爱国产| 综合激情五月婷婷| 五月天婷婷成人| 色狠狠六月| 99精品国产在热久久| 日本123区日韩欧美不卡在线看| 精品国产AV色一区二区深夜久久| 99热国产这里只有精品| 九月av| 99色热视频在线| 丁香婷婷中文字幕| 综合激情综合啪啪| 婷色成人| 激情五月天噢美| 久9视频| 五月天伊人综合| 五月深情久久| 婷婷激情97| 色婷婷五月综合激情中文字幕| 久久视频在线视频| 天天干天天干天天| 丁香五月天之婷婷影院| 玖玖色综合| 欧美五月婷婷| 久月婷婷| 久久久五月天| 激情五月综合| 在线综合网| 日本三级中国三级99人妇网站| 婷婷丁香在线| 97久久超碰| 欧美99热| 五月天婷婷色综合| 五月丁香影院| 夜色综合网| 激情五月天无人视频在线| 人人噜天天上| 成人va在线播放| w婷婷五月婷婷w| 激情五月天婷婷丁香| 色色色色网站| 午夜精品人妻无码一区二区三区| 无码人妻少妇色欲AV一区二区| 久久狠狠干| 五月天婷婷久久| 婷色五月天| 五月婷婷色在线| 激情五月天婷婷播播久久综合91| 99丁香五月| 国内精品免费一区二区2009| 91干在线视频| 亚洲六月婷婷| 日韩免费乱轮网站| 色婷婷国色天香综合| 五月丁香激情综合六月涩涩爱| 五月综合婷婷久久在线| 综合色色色| 丁香九九九九| 色区久久| 无码91中文字幕| 天天爽天天操| 激情综合国产| 天天综合精品| 大香蕉视频99| 日本女人久久| 亚洲综合在线伊人婷| tingtingzonghewang| 欧美美美女性色视频| 大香蕉精品视频| 最近免费中文字幕大全高清大全1| 婷婷激情四射五月天| 五月婷婷综合久久| 国产成人VA| 久久A V无码视频| 天天色视频| 婷婷色导航| 日韩在线视频9色| 激情综合99| 亚洲精99| 99日韩网站| 久青操| 丁香婷婷综合激情五月色| 岛国资源站| 99热这里只有精品1025| 天天网站天天爽| 九九热最新| 日产精品久久久久久久蜜臀| 丁香久月| 99视频精品视频| www.五月天婷婷| 日本欧美成人片AAAA| 超碰京东热av男人的天堂| 97色片| site:ornaments52.com| 4399在线日本A片| 午夜不卡久久精品无码免费| 情色婷婷五月天| 成人婷婷桔色| 99精品一二三四视频| 色色综合网www| 99热只有精品在线播放| 婷婷五月天中文字幕| 激情婷婷五月| 少妇婷婷五月天| 国产成人VA| www.99热在线| 伊人喵咪a V| 五月婷婷高清| 99re这里只有| 午夜在线成人网站免费观看| 亚洲中文字幕网| 婷婷成年人免费视频| 国产精品久久久久久久久久免费| 激情av在线| 日韩十国产极品久久| 色色99| 久草大| 九九成人| 七七久久婷婷| 五月婷婷六月爱| 五月丁香啪啪综合| 91日韩美女被插视频| 色5月婷婷| 五月婷婷丁香| 丁香狠狠色婷婷| 思思热热久久| 99色色网| 天天爽爽日日做做| 色五月婷婷操逼| 五月天停停日日| 就爱啪啪婷婷| 五月丁香| 久久婷婷青草五月天| 亚洲美女高潮久久久久久69| 婷婷久久婷婷| 欧美性色五月天| 精品一二三区久久AAA片| 激情综合网络插| 久久免片| 激情综合久久| 丁香九月综合激情| 色噜久| 五月天久久网站| 丁香视频| 色婷婷五月天久久| 9|在线观看视频| 欧美美美女性色视频| 天天干天天av天天射| 亚洲婷婷五月天激情综合| 欧美性生交XXXXX无码小说| 五月激情六月| 九热视频| 性色九九| www.丁香黄色五月天人与| 天天揷综合网| 婷婷丁香五月六月激情| 中文字幕不卡网站| 人妻久久久久久久久久久| yw国产AV| 五月丁香人妻| www.久久久久久久久久久| 婷婷日欧美在线观看| 插逼综合网| 激情五月丁香五月| 五月丁香色色综合| 成人av在线网| 99热这里只有在线| www.婷婷,com| 开心激情网在线| 婷婷丁香久久五月综合| 日韩黄色中文字幕| 九九精品网| 99热碰碰| 久9热| 99热老网站| 99国产精品久久久久久久久久久| 婷婷五月天性| 欧美碰碰碰| 来吧亚洲综合网| 激情综合区| 欧美久热| 婷婷色播综合五月| www91色网站| 99热免费观看| 色综合久久综合中文综合网| 激情五月丁香五月| site:minyis.com| 精品成人无码A片观看香草视频| 五月丁香婷婷中文网| 欧美日韩精品一区二区三区钱| 丁香激情五月| 99人这里只有精品| 色五月噜噜| 久热这里只有| 玖玖综合色| 99爱在线视频| 青996青| 日日夜夜天天综合| 色色色在线播放| 九九伦子片| 婷婷综合色图| 亚州激情在线视频| 97偷拍在线视频| 激情五月天色播| 久久精品亚洲一级牲爱综合| 天天综合网91| 爽tv | 五月久久婷婷丁香| 五月天婷婷伊人| 99少妇精品| 97色婷婷| 丁香六月综合激情| 色婷婷五月天激情在线播放| 久久婷婷草| 天天爽天天操| 色久女| 天天天天天久久久久久| 激情小说五月天社区丁香 | 亚洲色模骚货| 这里只有精9| 超碰爱爱爱| 色五月婷婷777| 色玖玖综合网| 激情综合五月婷婷六月丁香| 噜噜综合网| 狠狠丁香| 色综啪啪啪啪啪啪| 精品人妻伦九区久久AAA片| AV在线大香蕉| 久久九九在线视频| 热九九在线| 九九精品热播| 色五月丁香A欧美com| 可以看的av| 色色色婷婷五月天| 六月丁香VA| 久久婷婷五月综合激情国产| 丁香六月婷婷开心| 99人人操人人操人人精| 久久五月天影院| 丰满少妇乱A片无码| 欧美色五月| 最新av在线观看| 五月婷婷丁香婷婷| 大香蕉院线| 婷婷五月天成人导航| 97se视频在线| 国产精品成人AV在线| 99热这里精| 蜜桃婷婷丁香五月天狠狠久久综合| 色综合丁香婷婷| 9 1在线视频| 色原狠狠综合| 熟妇天天综合| 久爱综合| 1024操逼| 少妇2做爰HD韩国电影| 精品色| 91成人视频| 丁香婷婷性久久| 亚洲日韩欧美综合VA| 亚洲色色香蕉| 色狠狠色综合| 丁香综合网| 伊人五月天婷婷| 五月色婷婷激情| 热这里| 岛国av电影网站| 激情五月婷婷在线区| 精品国产va久久久久久久| 激情久久四色| 色五月婷婷激情综合网| 丁香五月激情天AV无码| www.五月天婷婷.com| 五月天婷婷色紫薇阁| 欧美综合婷婷欧美综| 这里只有精品免费在线视频| 大香蕉啪啪啪| 五月天激情综合在线| 五月丁香网视频| 天天日天天添| 综合激情伊人影视在线| 就要去操亚洲成人精品五月天丁香婷婷| 久热这里只有精品6官网亚洲| se99高清无码| 五月婷婷黄色视频| 99这里只有精品视频在线| 亚洲精品五十一区| 丁香婷婷五月天色播| 色婷婷五月天在线| 9999色色色色| 婷婷婷婷婷婷婷五月丁香| 色五月婷婷影院| 久久久99久久| 丁香五月天啪啪| 婷婷丁香在线| 欧美日本韩国亚洲| 久久婷婷桃花五月天| 99久久.www| 久久婷五月| 丁香婷婷人妻综合网| 人人干AV| 中文字幕婷婷五月天在线观看| 婷婷五月花| 国产精品久久久久久妇女6080| 亚洲A片成人无码久久精品青桔| 色九四色| 超碰操网| 亚洲激情五月婷婷日日| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 丁香九月婷| www.久久五月天.com| 五月婷婷激情综合| 色五月激情五月| 婷婷97色| 一婬一伦一区二区三区| 综合97五月| 国产一二三四五六七八视频| www.9797国产| 色婷婷综合网站| 婷婷综合玖玖五月| 中文字幕欧美久久| 成人色五月天婷婷| 久久A区B区| 五月激情视频| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | 丁香婷婷综合色五月激情国产基地| 五月丁香激情婷婷| 色色丁香五月婷婷| 可以免费观看的AV| 婷婷综合五月天| 97碰碰视频| 森林影视大全,最好看的2019年视频 | www.黄色片-久久成人国产精品在线播放-999AV | 色五月婷婷网| 狠狠干在线| www.国产亚洲69ty.久久久久久久久久久久| 婷婷色情小说| 狠狠色婷婷7777久| 天堂网操| 立川无码av| 色五月婷婷影院| 91人久| 天天久久狠狠色综合| 强伦轩人妻一区二区电影| 婷婷五月天AV| 久久人人九| 情涩婷婷五月天| 99热欧美| 亚洲无码yw| 天天爽夜夜爽夜爽精品| 国产精产国品一二三在观看| 欧美日韩成人免费在线| 色日本网| 婷婷大香蕉| 久久人操| 99久久这里只有精品| 国产精产国品一二三在观看| 色五月色五天色情网| 天天久| 欧美大片免费观看| 国产激情综合五月久久| 亚洲丁香五月天视频| 婷婷伊人五月天| 五月婷婷在线短视频| 久久九精品| 超碰五月婷婷五月天| 六月色色婷婷| 久色| 大香蕉五月天婷婷| 五月色色网| 第四色网婷婷| 欧美成人网99网| 九九99偷拍视频| 只有久久精品免费| 99热这里是精品| 九九热中文| 9月色婷婷| 亚洲秘 无码一区二区三区妃光/1| 婷婷五月情天| 久久久久久婷| 五月天六月婷婷电影| 综合 激情 婷婷| 综合久久五月| 99ER热精品视频| 九九热在线亚洲免费视频| 亚洲色就是色色色| 狠狠色丁香婷婷久久综合| 激情五月丁香六月婷婷| 性爱激情综合网| 色婷婷丁香中文在线播放| 国产毛多水多女人A片| 色婷婷狠狠禁18久久| 五月婷婷综合色啪首页| 亚洲亚洲人成综合网络| 韩国情人在线电视剧免费观看高清版全集| 亚洲成人在线播放| 久久久久9| 久久综合激情| 六月欧美综合色情| 五月香婷婷| 成 久久| 日本韩国视频在线观看社区免费的9| 秋霞影音91人妻久久| 91婷婷丁香五月亚洲| 婷婷丁香五月在线播放| 婷婷自拍| 99热综合网| 99re66热这里只有精品| www.超碰在线| 69午夜成人影片| 欧美韩国日本| 久久草婷婷丁香网站| 五月丁香婷婷伊人日韩| 精品成人a v无码内射| 婷婷丁香成人五月天| 亚洲综合婷婷| 成人精品一区二区三区四区五区| 狠狠色噜噜狠| 九九热视| 久久五月天视频| 天天干狠狠| 激情五月婷婷在线区| 国av网| 99人妻碰碰碰久久久久视| 超碰人人操在线| 99无码精品| 九九热视频精品| 久久婷婷色综合| 26UUU欧美| 妻久久久久| 伊综合蕉| 99精品在线观看视频| 色婷婷久久天天性爱| 丁香五月成人| 五月综合六月婷婷| 丁乡久久| www色色com| www夜夜操comwww| 97干在线观看视频| 久久久久久久人妻| 色婷婷狠狠18| 99re免费精品视频| 人妻激情久久| 大香蕉五月婷婷| 五月丁香婷婷国产精品综合| 婷婷五月天丁香成人社区| 久久婷婷五月| 久久小片| 天天摸.天天mo| 丁香花五月天社区| 激情五月影院| 婷婷激情五月综合丁香社| 91色综合网| 激情五月婷婷老师| 91偷拍视频| 激情5月天天天| 三级黄网站| 99在线视频网址在线观看| 五月丁香久久网| 婷婷色情小说| 99人人干| 久久婷婷夜| 人妻久久久|