欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

B300集群實(shí)戰(zhàn):NVFP4量化與P-D分離部署大模型吞吐調(diào)優(yōu)

B300集群實(shí)戰(zhàn):NVFP4量化與P-D分離部署大模型吞吐調(diào)優(yōu) 1. 為什么用 B300 跑這兩個(gè)模型B300 出來(lái)之后我們內(nèi)部就在盤算手上的模型服務(wù)要不要遷過(guò)去。手里正好有 GLM-5.2-NVFP4 和 Kimi-K3 兩組測(cè)試權(quán)重前者是官方直接發(fā)布的 NVFP4 量化版本后者我們先用 BF16 跑基線、再切 FP8 對(duì)比。在 16 卡 B300 集群上測(cè)出來(lái)的吞吐、緩存命中和部署手感基本代表了當(dāng)前 4-bit 推理的主流水平。這篇文章不寫云里霧里的理論就把我們拿到機(jī)器后從零搭環(huán)境、測(cè)壓、調(diào)參、踩坑的全過(guò)程攤開聊。先說(shuō)結(jié)論方便沒(méi)時(shí)間看完全文的同學(xué)16 卡 B300 拆成 2 組 TP8 副本跑 GLM-5.2-NVFP4256 并發(fā)、共享系統(tǒng)提示詞占比約 70% 的混合負(fù)載綜合吞吐大約比同模型 FP8 版本高 1.61.9 倍P-D 分離加 prefix cache 配置到位后輸入側(cè)有效吞吐能翻 2 倍以上TTFT首 token 延遲從 1.2s 壓到 400ms 以內(nèi)NVFP4 在 B300 上不是單純省顯存它把權(quán)重搬移量砍半decode 階段直接吃滿內(nèi)存帶寬的增益網(wǎng)絡(luò)層有一個(gè)坑CX8 網(wǎng)卡的歸屬和固件版本必須提前確認(rèn)我們?yōu)檫@個(gè)排查了整整一個(gè)下午。這篇內(nèi)容適合誰(shuí)看正在做 B300/GB300 集群評(píng)估的 SRE、推理框架開發(fā)、運(yùn)維或者想在 vLLM/SGLang 上部署 4-bit 量化大模型的同學(xué)。新手也能看原理部分我會(huì)盡量講人話參數(shù)部分可以直接抄。1.1 模型版本的差異不是名字后綴那么簡(jiǎn)單GLM-5.2-NVFP4 不是“GLM-5.2 順手壓到 4bit”這么簡(jiǎn)單。官方這次是把權(quán)重直接按 NVFP4 格式重新規(guī)整過(guò)包括通道粒度per-channel/per-group的縮放因子都預(yù)計(jì)算好推理時(shí)不需要在 GPU 上臨時(shí)做量化省掉了批處理場(chǎng)景下重復(fù)的 quantization kernel 開銷。Kimi-K3 目前沒(méi)有官方 NVFP4 版本所以我們測(cè)的是 BF16 基線和 FP8 在線量化兩類配置作為對(duì)照組。為什么在意這一點(diǎn)因?yàn)椤邦A(yù)量化”和“運(yùn)行時(shí)量化”在高吞吐場(chǎng)景下差距巨大。運(yùn)行時(shí)把 BF16/FP16 轉(zhuǎn)成 FP8 或 FP4 需要額外的計(jì)算 kernel雖然 B300 的 tensor core 處理這些很快但在 memory-bound 的 decode 階段任何多余 kernel 都會(huì)擠占內(nèi)存帶寬配額。GLM-5.2-NVFP4 這種權(quán)重直接以 NVFP4 格式存放的方式加載時(shí)就能直接被 tensor core 讀取完全省掉這部分開銷。1.2 測(cè)試指標(biāo)的選定我們這次重點(diǎn)看三個(gè)指標(biāo)吞吐tokens/s分 decode 吞吐和 prefill 吞吐統(tǒng)計(jì)取穩(wěn)定壓測(cè) 10 分鐘以上的平均值緩存命中率%輸入 tokens 中直接復(fù)用 KV cache 的比例反映 prefix cache 和 P-D 分離的整體配置效果TTFT / TPOT首 token 延遲和每 token 延遲高吞吐場(chǎng)景不能只盯著吞吐端到端體驗(yàn)要能壓住 P99 延遲。說(shuō)實(shí)話跑完一輪完整壓測(cè)之后我的體感是單卡性能是底座但真正拉開差距的地方在“緩存命中率”和“調(diào)度策略”。同樣一批請(qǐng)求把 prefix cache 配好之后的綜合吞吐和沒(méi)配相比差距大到離譜。所以后面我用一大節(jié)專門講緩存命中這部分是最值得抄作業(yè)的。2. 16 卡集群的硬件拓?fù)渑c網(wǎng)絡(luò)細(xì)節(jié)這次測(cè)試用的集群是 2 臺(tái) B300 整機(jī)每臺(tái) 8 卡組成 16 卡環(huán)境。每張 B300 是 288GB HBM3e內(nèi)存帶寬標(biāo)稱約 8TB/s單卡 FP4 稀疏算力比 B200 又漲了一截。8 卡之間通過(guò) NVLink-C2C 加 NVSwitch 全互聯(lián)跨節(jié)點(diǎn)走 InfiniBand NDR 400Gbps RDMA。整體拓?fù)洳粡?fù)雜但有幾個(gè)點(diǎn)不確認(rèn)清楚后面調(diào)試會(huì)非常折磨人。2.1 B300 和上一代的差距在哪很多人問(wèn) B300 的“上一代”是啥。按 NVIDIA 這代的命名邏輯B300 的上一代核心是 B200Blackwell 架構(gòu)再往前是 H200/H100Hopper 架構(gòu)。B300 和 B200 的關(guān)系有點(diǎn)像當(dāng)年 A100 到 H100 的演進(jìn)同一個(gè)架構(gòu)代系但把 HBM 容量、帶寬和算力做了整體提升。B300 最大變化是顯存從 192GB 提到 288GBHBM3e 的堆疊容量變大帶寬維持在高位的基礎(chǔ)上繼續(xù)往上頂。單純從部署模型的角度說(shuō)B300 最大的價(jià)值是把“400B 級(jí)模型單卡裝下”變成了現(xiàn)實(shí)。約 400B 規(guī)模的參數(shù)如果按 NVFP4 算權(quán)重約 200GB加上 KV cache 和激活288GB 單卡能裝得很輕松換成 FP8 的話權(quán)重約 400GB單卡裝不下只能拆雙卡吞吐直接打折。這也是為什么我們這次特別看重 NVFP4 的實(shí)測(cè)效果——它直接決定了能不能用最小的硬件拓?fù)渑茏畲蟮哪P汀?.2 CX8 網(wǎng)卡到底是不是模組自帶的這個(gè)熱搜問(wèn)題我們自己也糾結(jié)過(guò)。簡(jiǎn)單結(jié)論在 GB300 NVL72 這種機(jī)架級(jí)整機(jī)方案里CX8ConnectX-8網(wǎng)卡是集成在計(jì)算模組compute tray上的出廠即帶不需要單獨(dú)插 PCIe 卡但在自主組裝的 8 卡 HGX B300 基板上網(wǎng)絡(luò)接口還是走標(biāo)準(zhǔn) PCIe 插槽需要自己配網(wǎng)卡。我們這套 2 臺(tái) 8 卡機(jī)器屬于后者所以組網(wǎng)時(shí)額外配了 CX8 網(wǎng)卡。這里有個(gè)非常容易踩的坑CX8 的 firmware 版本和 mlx5 驅(qū)動(dòng)不匹配時(shí)RDMA 建鏈會(huì)間歇性失敗表現(xiàn)為主機(jī)之間 ping 正常、nccl 測(cè)試時(shí)好時(shí)壞非常難定位。后面排查章節(jié)我會(huì)詳細(xì)說(shuō)。還沒(méi)下單的朋友建議提前問(wèn)清楚供應(yīng)商機(jī)器帶的是什么網(wǎng)卡、什么固件版本、驅(qū)動(dòng)是否配套。這三個(gè)問(wèn)題每個(gè)都能省你半天時(shí)間。2.3 NVLink/NVSwitch 和 RDMA 的分工16 卡集群組網(wǎng)時(shí)很容易把兩個(gè)網(wǎng)絡(luò)混在一起。簡(jiǎn)單區(qū)分NVLink/NVSwitch 是卡與卡之間的高速互聯(lián)帶寬極高但只在單機(jī)內(nèi)有效同一 NVSwitch 域跨機(jī)器通信必須走 RDMA 網(wǎng)絡(luò)。對(duì)我們這次部署的影響是tensor parallel 的通信必須放在 NVLink 域內(nèi)pipeline parallel 或 DP 的梯度同步可以放 RDMA。所以 16 卡最自然的切法是兩組 TP8每組內(nèi)部 8 卡 NVLink 全互聯(lián)兩組之間用 RDMA 同步或處理不同的請(qǐng)求。這樣每個(gè) GPU 的權(quán)重分片只有原模型的 1/8通信壓力小吞吐最高。我們也試過(guò) TP16 跨機(jī)方案但因?yàn)榭鐧C(jī)通信走 400G RDMA相對(duì) NVLink 還是慢一個(gè)數(shù)量級(jí)實(shí)際吞吐反而掉 15%20%。3. NVFP4 量化顯存減半背后的硬件邏輯如果只看營(yíng)銷材料你可能覺得 NVFP4 就是“把 FP8 再砍一半變成 4 bit”聽起來(lái)很簡(jiǎn)單。但真正決定它能不能落地的是硬件在計(jì)算時(shí)怎么處理這些 4 bit 數(shù)據(jù)。這一節(jié)把原理講清楚后面遇到精度或者性能問(wèn)題就好排查了。3.1 FP4 不是簡(jiǎn)單的“多砍一位”NVFP4 是 NVIDIA Blackwell 架構(gòu)引入的 4-bit 浮點(diǎn)格式和傳統(tǒng)的 INT4 定點(diǎn)格式有本質(zhì)區(qū)別。FP4 保留了指數(shù)位動(dòng)態(tài)范圍比 INT4 大很多對(duì)權(quán)重分布不均勻的大模型更友好。具體來(lái)說(shuō)NVFP4 有兩種子格式E1M21 位指數(shù)、2 位尾數(shù)和 E2M12 位指數(shù)、1 位尾數(shù)分別應(yīng)對(duì)權(quán)重和激活的不同數(shù)值分布特性。在 B300 的 tensor core 里FP4 不是靠“把數(shù)據(jù)轉(zhuǎn)回 FP16 再算”來(lái)運(yùn)行的而是硬件直接支持 FP4 輸入的矩陣乘法。這意味著權(quán)重以 FP4 存儲(chǔ)在顯存里計(jì)算時(shí)不需要做解壓縮到高精度的步驟直接進(jìn) tensor core。這一步很關(guān)鍵它同時(shí)省了顯存帶寬和計(jì)算時(shí)間。打個(gè)比方如果上一代是“貨車?yán)浀絺}(cāng)庫(kù)再拆箱”那 B300 跑 NVFP4 就是“集裝箱直接放上托盤進(jìn)倉(cāng)庫(kù)”中間省掉了一次拆箱動(dòng)作。3.2 權(quán)重預(yù)量化 vs 運(yùn)行時(shí)量化GLM-5.2-NVFP4 是預(yù)量化權(quán)重文件在磁盤上就是 NVFP4 格式。加載時(shí) vLLM 直接加載進(jìn)顯存就行不需要在啟動(dòng)時(shí)跑一遍量化 kernel。Kimi-K3 我們測(cè)的是 BF16 到 FP8 的運(yùn)行時(shí)量化每次加載部署時(shí)要額外花幾分鐘做權(quán)重轉(zhuǎn)換而且轉(zhuǎn)換 kernel 還得吃一小部分顯存作為臨時(shí) buffer。在我們 16 卡集群上實(shí)測(cè)同一模型權(quán)重FP8 在線量化比 NVFP4 預(yù)量化每次冷啟動(dòng)多花 46 分鐘。別小看這幾分鐘日常發(fā)版、擴(kuò)副本、故障重啟都會(huì)遇到一天發(fā)三次版本就多了二十分鐘的無(wú)效等待。更重要的還是 decode 性能差異預(yù)量化的權(quán)重加載路徑更短token 生成階段的吞吐優(yōu)勢(shì)大約在 8%12%。如果你的模型支持預(yù)量化格式優(yōu)先選預(yù)量化版本。3.3 精度損失怎么驗(yàn)證4-bit 量化最讓人擔(dān)心的是精度。我們的驗(yàn)證辦法很簡(jiǎn)單拿 1000 條業(yè)務(wù)問(wèn)句分別用 FP16 基線、FP8、NVFP4 跑一遍對(duì)比輸出文本的 ROUGE-L 相似度和下游任務(wù)的準(zhǔn)確率。GLM-5.2-NVFP4 官方預(yù)量化版本在 ROUGE-L 上和 FP16 差不到 1 個(gè)點(diǎn)在數(shù)學(xué)和代碼任務(wù)上差距更小基本可以接受Kimi-K3 的 FP8 在線量化在長(zhǎng)上下文抽取任務(wù)上偶爾會(huì)漏細(xì)節(jié)需要結(jié)合業(yè)務(wù)容錯(cuò)度決定是否啟用。有一點(diǎn)提醒不要只看平均指標(biāo)要按任務(wù)類型拆開看。我們遇到過(guò)某類表格理解任務(wù)在 NVFP4 下降幅超過(guò) 5%但平均指標(biāo)只有 1% 的情況。如果你有分類、抽取這類對(duì)數(shù)值敏感的業(yè)務(wù)建議單獨(dú)跑一遍回歸測(cè)試再定方案。4. 部署配置與吞吐調(diào)優(yōu)實(shí)戰(zhàn)這一節(jié)是最實(shí)操的部分。我們會(huì)從并行策略選型一直講到 vLLM 最終配置再貼一組實(shí)測(cè)吞吐數(shù)據(jù)。所有參數(shù)都是我們?cè)?16 卡 B300 上實(shí)際跑過(guò)、穩(wěn)定復(fù)現(xiàn)過(guò)的你可以直接拿去做 baseline。4.1 并行策略怎么選16 卡集群部署兩個(gè)模型每個(gè)模型各占 8 卡TP8這是最標(biāo)準(zhǔn)的做法。GLM-5.2-NVFP4 權(quán)重約 200GB約 400B 規(guī)模參數(shù)按 NVFP4 折算TP8 時(shí)每卡權(quán)重 25GB加上每卡預(yù)留的 150GB 以上 KV cache 空間能支持非常大的并發(fā) batch。Kimi-K3 因?yàn)橛玫氖?FP8權(quán)重約 400GBTP8 時(shí)每卡權(quán)重 50GBKV cache 空間被壓縮但依然夠用。為了對(duì)比我們也試過(guò) TP16跨機(jī)。結(jié)論前面說(shuō)了跨機(jī)通信帶寬成為瓶頸高并發(fā)下吞吐反而下降。所以如果模型能塞進(jìn)單機(jī) 8 卡盡量別跨機(jī)做 TP。另外如果模型實(shí)在太大需要跨機(jī)建議用 pipeline parallel 而不是把 TP 拉滿跨機(jī)通信量完全不是一個(gè)量級(jí)。4.2 vLLM 配置明細(xì)直接貼我們最終用的 vLLM 啟動(dòng)參數(shù)以 GLM-5.2-NVFP4 為例python -m vllm.entrypoints.openai.api_server \ --model /data/models/glm-5.2-nvfp4 \ --tensor-parallel-size 8 \ --gpu-memory-utilization 0.92 \ --max-num-seqs 256 \ --max-model-len 131072 \ --enable-prefix-caching \ --kv-cache-dtype fp8 \ --enforce-eager \ --disable-log-requests參數(shù)含義拆開講一下--tensor-parallel-size 8TP 并行度8對(duì)應(yīng)單機(jī) 8 卡--gpu-memory-utilization 0.92顯存利用率 92%剩下的留給 CUDA context 和碎片--max-num-seqs 256單個(gè) GPU 允許同時(shí)調(diào)度的序列數(shù)上限這個(gè)值是吞吐和延遲平衡的關(guān)鍵--max-model-len 131072最大上下文長(zhǎng)度 128K--enable-prefix-caching打開自動(dòng)前綴緩存--kv-cache-dtype fp8KV cache 用 FP8 存儲(chǔ)比 FP16 省一半顯存--enforce-eager關(guān)閉 CUDA graphFP4 模型在部分 CUDA graph 捕獲環(huán)境下會(huì)和量化 kernel 沖突這個(gè)坑后面細(xì)說(shuō)。4.3 實(shí)測(cè)吞吐數(shù)據(jù)壓測(cè)用的是自研的負(fù)載工具混合場(chǎng)景模擬線上真實(shí)請(qǐng)求45% 多輪對(duì)話、30% 單輪問(wèn)答、25% 長(zhǎng)文檔處理并發(fā)從 32 逐步加到 512每檔跑 10 分鐘。下面這組成績(jī)是穩(wěn)定復(fù)現(xiàn)過(guò)的數(shù)據(jù)已做脫敏處理配置模型并發(fā)decode 吞吐(tokens/s)TTFT P99(ms)TPOT P99(ms)TP8GLM-5.2-NVFP412818,50062028TP8GLM-5.2-NVFP425632,00098045TP8GLM-5.2-NVFP451235,2003200110TP8Kimi-K3 FP812813,20078038TP8Kimi-K3 FP825622,400150068TP8Kimi-K3 FP851224,1004800180幾個(gè)解讀并發(fā) 128 到 256吞吐提升明顯說(shuō)明之前 batch 太小顯存帶寬沒(méi)吃滿并發(fā) 256 到 512吞吐只有小幅提升但 TTFT 漲了 2 倍以上說(shuō)明開始進(jìn)入排隊(duì)區(qū)Kimi-K3 FP8 全程比 GLM-5.2-NVFP4 低 30% 左右權(quán)重更大、每步讀顯存帶寬更多是主因。需要強(qiáng)調(diào)不同模型版本、不同量化方案、不同請(qǐng)求分布下數(shù)據(jù)會(huì)有差異這里給的是我們這套環(huán)境的基線。如果你拿到的數(shù)據(jù)比我們低很多優(yōu)先檢查是不是 KV cache 沒(méi)配夠或者并發(fā)沒(méi)打上去。4.4 batch、KV cache、延遲的平衡--max-num-seqs不是越大越好。我們實(shí)測(cè) 256 是最佳點(diǎn)512 時(shí)吞吐雖然還能漲一點(diǎn)但 P99 TTFT 已經(jīng)明顯惡化線上體驗(yàn)受損。核心原因batch 太大時(shí)prefill 和 decode 混跑prefill 的長(zhǎng)序列會(huì)占用大量 GPU 算力導(dǎo)致 decode 步長(zhǎng)得不到及時(shí)調(diào)度每個(gè)請(qǐng)求的 TPOT 都變慢。這個(gè)階段我們的調(diào)優(yōu)建議是先把 batch 從 32 開始翻倍試每檔跑 10 分鐘看 TTFT/TPOT 的 P99 曲線找到吞吐不再線性增長(zhǎng)的那個(gè)點(diǎn)然后往回退一檔。不要光看平均吞吐要盯 P99尤其是線上有交互場(chǎng)景時(shí)。5. 緩存命中與 P-D 分離部署前面說(shuō)了緩存命中是這次測(cè)試?yán)镒钪档眉?xì)講的部分。如果說(shuō) NVFP4 是省了一半顯存帶寬那 prefix cache 加 P-D 分離就是把 prefill 計(jì)算量砍掉一大半。這兩個(gè)收益方向不同但疊加起來(lái)效果非??捎^。5.1 Prefix Cache 的工作原理大模型推理時(shí)KV cache 是逐 token 計(jì)算的。如果兩個(gè)請(qǐng)求開頭部分相同比如相同的 system prompt、相同的 few-shot 示例它們的 KV cache 是可以復(fù)用的。vLLM 的 automatic prefix caching 和 SGLang 的 RadixAttention 都是干這個(gè)的差別在于緩存的組織方式和淘汰策略。實(shí)際業(yè)務(wù)里絕大多數(shù)對(duì)話請(qǐng)求都帶著同一個(gè)系統(tǒng)提示詞這部分可能占輸入 tokens 的 30%60%。把這些重復(fù)計(jì)算省掉prefill 壓力能降一大截TTFT 直接受益。我們?cè)?GLM-5.2-NVFP4 上測(cè)過(guò)純單輪問(wèn)答場(chǎng)景如果系統(tǒng)提示詞 2000 tokens、請(qǐng)求平均 3000 tokens打開 prefix caching 后 prefill 計(jì)算量減少約 25%30%TTFT 平均降 35% 左右。如果業(yè)務(wù)里你們用的是固定超長(zhǎng) system prompt收益會(huì)更夸張。5.2 P-D 分離部署的配置要點(diǎn)P-D separationprefill-decode 分離是更進(jìn)一步的做法把 prefill 和 decode 拆到不同的實(shí)例上prefill 實(shí)例負(fù)責(zé)長(zhǎng)輸入計(jì)算和 KV cache 生成decode 實(shí)例負(fù)責(zé) token 生成兩者之間通過(guò)共享 KV cache 或調(diào)度器傳遞狀態(tài)。我們最終部署形態(tài)是16 卡拆成 2 個(gè) prefill 實(shí)例加 2 個(gè) decode 實(shí)例prefill 實(shí)例負(fù)責(zé)接收新請(qǐng)求、計(jì)算初始 KV cache、輸出給 decode 實(shí)例。這樣做的優(yōu)勢(shì)是 prefill 和 decode 互不搶資源長(zhǎng)上下文預(yù)填充不再拖慢在線 token 生成。代價(jià)是架構(gòu)復(fù)雜度上來(lái)了需要額外的調(diào)度組件。配置上有幾個(gè)關(guān)鍵參數(shù)在 vLLM 中使用--served-model-name配合預(yù)填充池/解碼池配置或者用 SGLang 的 PD 分離參數(shù)prefill 和 decode 實(shí)例要共享前綴緩存存儲(chǔ)否則緩存命中率會(huì)直線下降scheduler 的隊(duì)列權(quán)重要配好prefill 隊(duì)列和 decode 隊(duì)列的比例按“輸入 tokens 與輸出 tokens 的 1:31:5”來(lái)估如果輸出偏長(zhǎng)decode 實(shí)例要多配。5.3 命中率數(shù)據(jù)與優(yōu)化技巧部署 P-D 分離加 prefix caching 之后我們跑了一組業(yè)務(wù)流量回放場(chǎng)景無(wú)緩存僅 prefix cacheP-D prefix cache多輪對(duì)話命中率0%68%68%長(zhǎng)文檔問(wèn)答命中率0%21%21%綜合 prefill 吞吐(tokens/s)8,40015,20019,800TTFT P99(ms)1,200780390多輪對(duì)話的命中率最高68%因?yàn)槊枯喍紟е鴼v史上下文和固定的 system prompt長(zhǎng)文檔問(wèn)答命中率低21%因?yàn)槊總€(gè)文檔內(nèi)容差異大。綜合下來(lái)P-D 分離讓 prefill 有效吞吐從 8.4K 提到 19.8KTTFT 從 1.2s 壓到 390ms這個(gè)提升非??捎^。命中率優(yōu)化的幾個(gè)技巧system prompt 盡量放在請(qǐng)求最前面有些框架的 prefix cache 是按前綴匹配的放中間會(huì)打斷緩存命中多輪對(duì)話要使用框架自帶的聊天模板復(fù)用不要每次重拼完整歷史那樣等于把已經(jīng)算過(guò)的 KV cash 全部作廢緩存條目不要設(shè)得過(guò)小太小會(huì)導(dǎo)致高頻請(qǐng)求的緩存頻繁被淘汰命中率反而下降如果業(yè)務(wù)里存在幾十個(gè)固定請(qǐng)求模板可以考慮在入口層做模板歸一化把相同前綴的請(qǐng)求打到一個(gè)實(shí)例上。6. 碰到的坑和排查實(shí)錄這部分是花錢買來(lái)的經(jīng)驗(yàn)。硬件剛到手的時(shí)候我們覺得 B300 這種新卡應(yīng)該很穩(wěn)定結(jié)果測(cè)試期間遇到了好幾個(gè)詭異問(wèn)題每個(gè)都能讓人懷疑人生。整理出來(lái)希望你們少走彎路。6.1 B300 集群的散熱與維護(hù)B300 功耗比 B200 更高8 卡整機(jī)的滿載功率輕松超過(guò) 15kW對(duì)機(jī)房的散熱和供電要求非常高。我們測(cè)試期間遇到過(guò)一次“性能懸崖”跑滿 512 并發(fā) 15 分鐘后整體吞吐突然掉了 40%檢查發(fā)現(xiàn) GPU 溫度到了 96°C 觸發(fā)降頻。調(diào)整機(jī)房空調(diào)風(fēng)道和機(jī)柜位置后溫度穩(wěn)定在 82°C 左右問(wèn)題解決。建議B300 集群上線前做一次滿載熱循環(huán)測(cè)試至少連續(xù)跑 1 小時(shí)以上觀察溫度和時(shí)鐘曲線散熱不足的機(jī)房不要貿(mào)然上高并發(fā)壓測(cè)容易把卡降頻甚至觸發(fā)保護(hù)性關(guān)機(jī)。另外日常維護(hù)要多看nvidia-smi dmon采集的溫度歷史不要等出故障再排查。6.2 CX8 網(wǎng)絡(luò)固件導(dǎo)致的 RDMA 偶發(fā)斷連這個(gè)坑前面提過(guò)這里展開講。癥狀是NCCL 全互聯(lián)測(cè)試all_reduce有時(shí)能過(guò)、有時(shí)在某個(gè)節(jié)點(diǎn)上卡住重試幾次又恢復(fù)正常GPU 直連通信偶爾報(bào)錯(cuò)mlx5_0: timeout。排查了兩輪硬件都沒(méi)問(wèn)題最后發(fā)現(xiàn)是 CX8 網(wǎng)卡固件版本比驅(qū)動(dòng)的預(yù)期版本舊了一大截升級(jí)固件后問(wèn)題完全消失。排查方法供參考# 查看網(wǎng)卡固件版本 mlxup --query # 檢查驅(qū)動(dòng)與固件匹配情況 modinfo mlx5_core | head # 跑 NCCL 全互聯(lián)測(cè)試 nccl-tests/build/all_reduce_perf -b 1G -f 2 -g 8 -n 10遇到過(guò)類似問(wèn)題的話別急著換硬件先查固件和驅(qū)動(dòng)的版本矩陣。RDMA 的偶發(fā)問(wèn)題有相當(dāng)大比例是固件/驅(qū)動(dòng)不配套導(dǎo)致的。6.3 FP4 模型和 CUDA graph 的沖突我們第一版配置用了 vLLM 默認(rèn)的 CUDA graph 加速啟動(dòng)時(shí)報(bào)了類似Cannot capture graph with quantized ops的錯(cuò)誤或者能啟動(dòng)但跑幾個(gè) batch 后隨機(jī)報(bào)CUDA error: illegal memory access。排查后確認(rèn)是 CUDA graph 捕獲和 FP4 量化 kernel 的某些組合路徑有兼容性問(wèn)題。解法很直接--enforce-eager關(guān)掉 CUDA graph。代價(jià)是每步調(diào)度開銷大一點(diǎn)實(shí)測(cè)吞吐影響在 5% 以內(nèi)但穩(wěn)定性大幅提升。如果框架后續(xù)版本修了這個(gè)問(wèn)題可以再開回來(lái)但建議先在壓測(cè)環(huán)境驗(yàn)證 30 分鐘以上再上生產(chǎn)。6.4 常見問(wèn)題速查現(xiàn)象可能原因建議處理吞吐跑一會(huì)驟降GPU 溫度過(guò)高觸發(fā)降頻檢查散熱、調(diào)整負(fù)載NCCL/遠(yuǎn)端通信時(shí)好時(shí)壞網(wǎng)卡固件/驅(qū)動(dòng)不匹配升級(jí)固件、跑 nccl-tests 驗(yàn)證啟動(dòng)報(bào) CUDA graph 錯(cuò)誤FP4 kernel 與 graph 捕獲沖突加--enforce-eagerKV cache 命中率一直很低請(qǐng)求結(jié)構(gòu)不連續(xù)/緩存條目太小調(diào)整緩存淘汰策略、優(yōu)化 system prompt 位置FP4 精度不達(dá)標(biāo)模型本身不適合 4-bit/縮放因子異常用 ROUGE 等指標(biāo)逐任務(wù)驗(yàn)證必要時(shí)退回 FP8跨機(jī) TP 吞吐低于預(yù)期跨節(jié)點(diǎn)走 RDMA 帶寬不足切 TP8 本地部署跨機(jī)只做數(shù)據(jù)并行最后說(shuō)點(diǎn)個(gè)人體會(huì)。這次實(shí)測(cè)最大的感受是B300 的硬件底子確實(shí)強(qiáng)但真正拉開體驗(yàn)差距的是緩存的命中率和部署配置的細(xì)節(jié)。NVFP4 讓 400B 級(jí)模型在單卡跑成為了現(xiàn)實(shí)而 prefix cache 加 P-D 分離讓同樣的硬件跑出了接近翻倍的業(yè)務(wù)吞吐。如果你也在評(píng)估 B300 集群我建議先把緩存命中率這件事想清楚這比堆機(jī)器更劃算。另外跟 B300 一起到的 CX8 固件問(wèn)題我們前前后后折騰了大半天建議你拿到機(jī)器第一件事就去查固件版本別等上了生產(chǎn)才發(fā)現(xiàn)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月丁香婷在线| 第四色五月激情网| 五月天成人在线精品| 天天操天天操天天操天天操天天操 | 亚洲色综合| 天天天在线观看| 国产综合A片| 激情五月婷婷丁香六月| 久久精典| 丁香久月| 4438激情网| 涩婷婷视频快播人妻| 国语精品探花| xxxx五月天色色| 九九视频在线观看| 亚洲色人妻| 天天天久久人人人合| 亚洲成人综合网在线免费观看| www久久99com| 色婷婷激情| 久久老码第一| 欧美性生交XXXXX无码小说| 五月婷婷黄色| 色五月色图| 五月婷婷九九热| 人人操人人干AV| 91九色精品| 色噜噜狠狠色综合无码久久欧美| 婷婷五月天天| 五月丁香久久网| 91丨熟女丨首页| 国产性爱在线| 五月丁香操婷逼| 在线视频色五月| 五月婷婷色色| 九热视频| 婷婷五月天免费小说| 色婷婷影院| 深爱五月亚洲| 婷色天堂| 五月天婷婷伊人| 免费视频WWW在线观看网站| 激情网第九色| 激情综合色五月丁香六月亚洲| 天天玩夜夜操| 狠狠五月综合在线| 丁香六月成人网| 色播五月婷婷| 精品视频99看在线视频| 丁香五月天亚洲综合| 国产视频婷婷| 六月婷婷六月天天在线免费| 五月伊人91| 99视频精品全部观看10| 性爱动图国产麻豆一区二区三区| 婷婷六月久久| 人人摸人人干| 另类专区在线| 激情文学五月丁香六月婷婷| 丁香六月婷婷综合麻豆| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 亚洲AV成人无码电影| 99亚州综合精品成人网| 性爱电影科技贸易有限公司| 99热综合| 色婷婷玖玖影院| 99色| 91碰碰| 婷婷五月天开心激情网| 国产在线6| 免费啪啪亚州视频| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 丁香六月狠狠干| 日韩乱轮AV| 成人日韩欧美| 天堂久久大香蕉| 五月天婷婷色| 99久.| 婷婷俺去也| 99亚洲大片精品永久在线观看 | 国产精自产拍久久久久久蜜| 久热伊人| 丁香六月婷婷色播| 激情五月,激情综合网| 天天摸天天日天天舔| 我要色综合五月婷婷| 亚洲色婷婷色| 激情五月婷婷伊人| 五月丁香视频在线观看| 色色色在线免费视频| 欧美大奶熟女噜噜噜噜| 丁香婷婷免费| 深爱丁香激情| 一级操逼内射在线视频| 婷婷伊人五月| 色99视频| 九九九九无码| 91婷婷五月丁香碰| 欧美激情综合色综合啪啪五月| 色婷婷成人做爰A片免费看网站| 人妻久久久久久久 | 天天天干夜夜夜操| 日韩免费视频| 久草婷妨| 久热99热| 丁香香五月激情免费视频| 97色干| 婷婷欧美综合| 丁香六月视频免费观看| 狼人婷婷综合| 精品久久艹| 日韩婷婷| 玖玖综合色区在线观看| 久久一级片| 九伊人网| 6080av| 另类图片婷婷五月天| er99免费视频在线| 六月婷欧美| 综合玖玖性爱免费视频| 婷婷五月激情在线视频| 五月丁香六月激情综合| 97一区二区| 大香蕉九九热| 色婷婷五月综合网| 五月香婷婷| 亚洲日韩成人三级av| 五月婷婷综合在线视频| 欧美日韩AAAAA| 丁香五月天在线| 五月婷婷综合久久| 五月丁香婷婷伊人日韩| 欧美性爱五月天| 欧美性爱5月天天天看| 综合五月天| 99热在线播放| 性爱网五月天| 五月丁香五月婷婷| 人妻丰满精品一区二区A片| 99热日韩| 久久机热这里只有精品| 国产偷人爽久久久久久老妇APP| 高清成人综合| 色播五月| 久久免费高| AV天堂淫乩| 狠狠狠狠狠狠色| 爱iii做iiii日| 6月丁香婷婷激情| 噜噜噜噜婷婷五月天| 欧美国产一区二区三区| av免费在线观看0| 天天成人五月天| 五月丁香综合啪啪| 婷婷五月综激情| www色五月| 五月丁香六月婷婷成人| 久久5 9视频免费观看| 丁香五月欧美| 中文字幕网伦射乱中文| 亚洲激情免费久久| 成人无码精品1区2区3区免费看 | 99久久婷婷国产综合精品草原| 久激情| 99综合| 五月综合久久| 婷婷99狠狠| 思思热国产在线| 五月色婷婷中文字幕| 色婷婷丁香| 欧美性交一区二区三区| 中文AV在线观看| 国产成人高清| 大香蕉520| 久久98| 狠狠操狠狠| 狠狠色狠狠干| 99热97美女| 狠狠xx| 色v综合网| 日本一级黄色电影| 婷婷免费无视频| 无码一级片| 丁香久久久| 久热这里只精品| 国产人妻777人伦精品HD| 丁香五月亚洲婷婷| 夫妻超碰在线| 五月丁香六月婷婷网| 天天模,夜夜模夜夜爽| 五月婷婷很很色| 五月天婷婷激情在线色图| 婷婷色六月| 99热综合网| 天天天操天天天日| 五月天激情偷拍| 免费在线观看av网站| 国产成人综合网| 伊人九九68| 国产在这里只有精品| www.sd-xiangsu.cpm| 九九中文字幕九| 亚洲爆乳无码精品AAA片蜜桃| 九六五月天婷婷| 97操操操| 九一牛视频探花| 五月婷婷啪啪| 激情伊人| 久久久天天啊| 五月婷视屏在线观看| 99热欧美在线观看| 欧美综合123区| 综合狠久久| 五月婷婷综合激情| 色婷五月| 久久五月婷| 在线99热| 亚洲色网址| 成人版视频在线观看| 五月久久丁香| 99热这里有精力| 综合激情五月天六月婷免费视频| VA国产在线综合网站| 激情床戏| 97碰啪啪| 最新色色五月天| 五月丁香在线| 婷婷五月草| 天天婷婷色六月| 丁香激惜男女| 五月婷婷久久激情| 开心综合激情综合| 天天视频亚洲| 日韩啪啪视频| 五月丁香六月| 国产三级在线播放| 99视频久久久| 色色五月天激情| ay2区| 六月丁香婷婷天堂| 激情五月天小说| 婷婷五月丁香五月综合网| 99ER热精品视频| 久操福利| 8090在线影视少妇| 婷婷五月天毛片| 超碰人人艹| 艹| 婷婷射图| 九九色婷婷五月天| 日韩操女| 色五月五月丁香| 日本久久精品18| av九九| 在线看av| 天天干天天色天天干| 99爱爱网| a网站免费观看| 99这里只有精品在线观看| 久狠日av| 无码人妻AV久久久一区二区三区 | 久狠日av| 成人无码精品1区2区3区免费看| 超碰永久在线| 色婷婷丁香网| 99色热视频| 色婷婷丁香女女| 综合色图区| 五月天色婷婷网| AV九九| 色香久久| 五月婷婷六月丁香在线视频| 五月丁香网站| 99综合视频一体| 夜夜骑夜夜撸| 精品久9| ,99视频久久| 国产熟女一区二区三区五月婷| 伊人婷婷福利网| 欧美激情综合色综合啪啪五月| 婷婷日本在线| 午夜一区| 久热中文字幕| 激情九九六月激情免费视频| 超碰97在线操| 五月天婷婷丁香人人操91| avh片在线观看| 五月久久| 亚卅毛片| 精品在线| 五月天婷婷丁香视频| 国产热精品| 免费试看小视频 99| 91主播在线| 日本美女97在线视频| 蜜桃成语时李时珍 免费| 开心五月婷婷激情| 精品九九久久| 性爱网五月婷婷| 全部老头和老太XXXXX| 99国产精品久久久久久久久久久| 婷婷丁香激情五月天色色色| 青青草原亚洲久| 国产永久一黄| 日韩黄色电影| AV网站免费在线| 久久色五月天| 五月丁香六月婷婷综合网缴情| 欧美伊人9| www.97碰碰com| 欧美 日韩 成人| 欧美槡BBBB槡BBB少妇| 婷婷五月在线视频| 一操久久| 丁香婷五月天| 都市激情五月婷婷亚洲| 五月丁香精品| 婷婷成人av| a69在线视频| 丁香五月网在线观看| 伊人玖玖精品| 91夫妻视频| 色欲色天天香综合| 五月丁香婷婷AV| 欧美在线97| 五月婷婷色| 大香蕉综合在线| 婷婷综合在线视频| 激情99。| 人妻久久久久久| 五月丁香婷婷激情爱爱| 色综合九九色综合88| 婷婷丁香五月天小说| 国产免费一区二区在线A片视频| 亚洲综合九九| 婷婷丁香激情五月| 九九综合九九| 中文字幕网站在线观看| 欧美狠狠地| 婷婷五月天社区| 九九热精品99| 九九热re99re6在线精品| 无码少妇高潮喷水A片免费| 日本在线视频播放91| 色色色色色综合| 精品国产AV色一区二区深夜久久| 欧美三级欧美一级| 五月亭亭网成人在线视频| 九九九九操逼| 亚洲欧洲色色| 性爱视频久久| 99久久成人| 亚洲精品国产A久久久久久| 美女天天久久| 亚洲亚洲人成综合网络| 婷婷五月天AV| 婷婷亚洲综合| 99在线看片| 五月婷色丁香| 可以免费观看的av| 久久婷婷色综合老司机| 99这里只有精| 久久六月天| 欧美大肥婆大肥BBBBB| 五月婷婷高清| 97在线视频观看| 欧美五月丁香啪啪响视频| 色色综合网站| 激情久久月| 久久久久激情网| 亚洲激情婷婷| 99网| 91狠狠色丁香婷婷综合久久精品| 99re在线观看| 欧美大肥婆大肥BBBBB| 成人一级片| 婷婷五月深深的爱| 色五月欧美| 国产毛片精品一区二区色欲黄A片| 色五月婷婷综合在线| 日日操夜夜爽天天天| 色色五月天丁香| 亚洲区1| 婷婷色综合| 2020日日干| 另类综合国产| 99视频这里只有久久精品| 成人五月天综合网| 五月丁香啪啪啪综合网| 99少妇精品| 牛牛热这里只有jingpin| 色综合久久久久| 影音先锋四区| 日本视频99| 激情www| 99热只有国产在线精品| 99re99热| 好吊操这里只有精品| 生活片五区| 九色PORNY在线精品酒店| 久草婷婷在线| 日本狠狠干| 色婷婷色99国产综合精品| 97人人搞| 色婷婷综合久久久久| 久久久er热| 狠狠的日| 婷婷欧美色| 亚洲另类视频| 啪啪五月综合| 久热69| 青青草Avb在线| 婷婷丁香五月视频| 国产裸舞表演WWWW| 亚洲天堂aaaa| 大香蕉Av在线| 99,色| 五月丁香综合| 婷婷伊人久久无码色五月| 五月丁香婷婷啪啪| 三男玩一女三A片| www.色五月| 久9无码视频| 激情婷婷五月| 五月天综合网| 五月天另类激情在线| 欧美在线视频99| 久久久无码精品成人A片小说| 精品人妻久久久久| 五月婷婷成人| 在线日韩视频| 六月丁香五月婷婷| 婷婷五月天综合亚洲| 色色色色色色色色网站| 亚洲爆乳无码精品AAA片蜜桃| www.99热| 黄色国久久| 天天爱天天天射AV| 亚洲人成网站999综合| av五月丁香| 婷婷五月天你懂的| 99热亚洲| 五月婷婷天天色| 亚洲综合色网站| 五丁香激情综合| 激情婷婷五六月天| 婷婷五月天美女视频| 九九热最新地址| 一级二级色大片| 六月丁香啪啪啪| 中文字幕成人| 九九精品9| 99久免费视频| 色色色99| WWW激情五月天| 这里只有精品视频在线| 婷婷五月色| 亚洲色啪| 精品无码片| 99热销国产这里有精品| 99久久99热| 婷婷深爱五月丁香网| 99亚洲精品视频| 91ncm视频| 天天干天天拍| 综合久久伊人| 久久九九怡红院| 色五月综合婷婷| 操逼六区| 91精品国产综合久久久不卡电影| 婷婷va| 任你日视频| 久久香蕉网| 成人Av在线大片| 国产免费一区二区三区三州老师F1F1.CC | 日本婷久久| 久久久久久人妻| 99这里只有精品| 97热久久| 5月丁香综合网| 五月天啪啪啪| 亚洲色热| 久re热视频| 99r久久这里只有精品| 狠狠狠夜夜夜| 人人干人人看| 五月天伊人综合| 97色伦另类图片小说视频| 天天日天天舔| 国产精产国品一二三在观看 | 欧美综合激情五月天| 国产成人综合在线| 超碰免费人人肏| 国产韩日亚洲美州欧亚综合在线| 久久五月天色| 色九月| 丁香五月天激情四射网| 综合网激情五月天| 99热99色| 久久超级碰视频| 亚洲综合网激情小说| 66色在线日韩| 色约约视频一区二区三区四区五区| 丁香五月影院| 五月丁香影院| www.韩日视频| 九九热在线观看视频网站| 99激情在线| 开心五月婷婷伊人| 婷婷五月天激情在线观看 | 月丁香久久久| 色婷婷五月综合在线| 激情婷婷色色| 99色| 日日噜狠狠色| 成人做爰A片免费看视频| 五月丁香婷婷中文| 4399亚洲视频| 久久日九九| 美女天天艹人人爽| 五月婷婷丁香五月| 五月丁香六月婷婷网| 激情综合婷婷| 拍真实国产伦偷精品| 欧美精品在线观看| wwww.色婷婷| 人人操女人| 一区二区传媒视频| 色噜噜狠狠色综无码久久合欧美| 激情文学五月丁香六月婷婷| 91碰免费视频| 成人精品在线| 久激情网| 婷婷五月天深爱| 婷婷开心六月| 婷婷五月天桃花网| 欧洲精品欧洲情| 婷婷六月丁香激情综合| 激情婷婷五月天日本系列| 激情网婷婷五月天| 天天综合精品| 久久视频在线视频| 九九综合久久| 丁香五月天堂| se99高清无码| 亚洲欧洲另类| 久久九九爽| 性综合网| 影音先锋偷偷色男人站| 小视频久久久aaa| 黄色片avv| www.久久五月天.com| 五月天婷婷伊人| 人人看人人97| 五月婷婷婷丁香播| 99久久97久久欧美综合网| 五月天久久91| 99九九视频精彩在线| 涩五月婷婷| 亚洲无码激情| 婷婷久月| 哇嘎成人久久| 五月丁香花视频| 九九热99免费视频| 91美女被操| 9191avse| www.婷婷六月天| 国产精品久久99| 开心婷婷五月| 久久五月丁香六月婷| 国产av天堂| 丁香色五月婷婷17C| 五月婷婷啪啪| 欧美黑人巨大猛烈cuckold| 综合激情婷婷| 99热国产在| 精品影院| 婷婷五月精品中文字幕| 婷婷丁香五月天熟女丝袜| 婷婷五月激情图片| 99热综合在线| 欧美色五月| 久久杏爱视频| 欧美97超碰| 久久精品只有这| 精品女人九九九| 中文字幕 码精品视频网站| 久久久久久xxxxx| 成人在线99| 婷婷五月天,影院| 婷婷婷婷婷婷婷婷婷婷丁香| 婷婷激情六月| 91婷婷丁香五月天免费视频网站| 狠狠精品干练久久久无码中文字幕| 五月天成人手机在线视频| 狠狠色丁香乆乆| 天天久综合| 玖玖热视频| 天天日日| 婷婷综合五月天亚洲综合| 在线播放成人网站| 亚洲精品网站色视频| 亚洲综合激情五月久久| 深爱五月激情网| 丁香五月色| 激情性爱五月天| 国产午夜精品久久久观看| 丁香五月婷婷av| 久久99视频| 久久97久久99久久综合欧美| 黄色AV日韩| 久久9久| 色综啪啪| 狠狠色婷婷7777久| WWW.桔色成人.COM| 亚洲av免费在线| 五月婷婷啪啪啪| 办公室少妇激情呻吟A片在线观看| 婷婷激情中文综合| 久久婷婷青青草| 五月丁香色婷婷熟女| 亚洲激情网| 久操操| 欧州婷婷五月天综合| 色婷婷久久| 五月丁香网av| 天堂亚洲 在线| 五月丁香六月天| 五月丁香婷婷俺| 97久人人| 国产婷婷婷| 日本婷久久| 丁香伍月婷电影全集| 丁香五月综合激情性爱| 狠狠干2007| 麻豆精品| 91919191919久久成人视频| 色爽九九| 五月婷婷丁香色播网| 婷婷久久五月| 99cao婷婷| 强伦轩人妻一区二区电影| 开心婷婷五月天激情网| 亚洲精品五十一区| 久久久久久久久久91| 国产亚洲在线观看| 久久伊人9| 激情小说之五月| 亚洲色综合| 99热在线网站| 中文字幕精品无码一区二区| 色婷婷欧美| 色激情五月| 天天色综合色| 9999久久久久| 伊人婷婷五月天av| 日本婷婷激情四射中文字幕在线观看| 午夜五月天| 日本色爽| 五月天网站亭亭| 伊人国产婷婷五月天| 综合婷婷久久| 伊人狠狠色婷婷综合丁香一区| 国产XXXX搡XXXXX搡麻豆| 日韩成人电影AV| 婷婷九月丁香| 婷婷激情欧美| 99亚色色色| 久久99网址| .肏屄视频一区二区| 9+1视频网址| www.色99| 九九久久99精品免费观看www| 五月丁香激情婷婷| 99在线国| 亚洲女婷婷五月基地综合久久久| 五月丁香日本在线视频观看| 中文AV在线播放| 日韩伊人大香蕉| 好大好粗嗯啊-一级黄色大片免费观看-成人AV| 色135综合网| 激情小说五月天| 五月在线| 六月婷婷色| 婷久久| 欧美色色网| 青青草原福利在线| 丁香丝袜五月| 久久久精品色色色| 亚洲第一精品成人999久久精品| 狠狠操.COM| 六月婷婷激情图片| 久草 天堂| 久热黄色| 九九久久五月天| 影音先锋毛片网站| 狼人狠狠操| 99热精品99| 99九九热视频| 丁香久久综合| 中文无码婷婷| 久久五月婷婷电影| 婷婷亚洲五| 五月天国产成人| 五月色婷婷在线观看| 好吊操这里只有精品| 五月天天天操天天爽夜夜操| 99久久黄色顶级视频| 婷婷综合激情五月中文字幕| 久久AAAA片一区二区| 思思热99er在线视频| 五月婷婷综合色啪| 超碰婷婷五月| 无码A片一区二区免费| 97碰碰视频| www.99热| 极品色丁香| WWW.五月天9999| 五月婷深深爱激情网| 午夜做爱影院| www.黄色片-久久成人国产精品在线播放-999AV | 操操操AV| 日日天天天| 久久性爱99国产| 婷婷五月天小说| 亚洲色综合| 激情综合色| 人妻久热| www久久久久久| 伊人网大香| 亚洲美女婷婷五月天| 日日操天天操| 中文字幕 码精品视频网站| 97精品自拍视频| 国产欧美日韩一区二区三区| 欧美日本va| 色五月婷婷色| 日本乱子人伦在线视频| 久久黄色片| 男人天堂99| 狠狠干狠狠干| 九色视频九色九色91jiuseshipin| 欲求不满的人妻| 色色九区| 婷婷六月丁香在线| 色婷婷五月综合网| 人人干99| http:色情日本com| 亚洲成Av人片乱码色第1集| 婷婷伊人久久| 激情综合亚洲色婷婷五月| 99热只有精| 久久久这里有精品| 99热这里是精品| 99久在线精品99re8热| 免费91久久精品| 综合久久8| 中文字幕在线日亚州9| www.色婷婷。com| 精品久久99码| 成人精品在线观看| 婷婷激情四射五月天| 丁香五月激情婷婷视频| 色性日本| 久久 婷婷 五月天| 狠狠干综合| 中文字幕无码AV| 六月婷婷综合久久| 99热这里只有精品96| 中文字幕激情综合| 少妇人妻丰满做爰XXX| 高清国产AV| 婷婷5月色| 婷婷久久综合久色| 色婷婷综合视频| 五月丁香婷色| 国产Va视频| 日亚二欧美| 久久综合久色欧美综合狠狠| 五月婷婷色播| 激情五月婷婷中文字幕| 五月天久久婷婷| 五月婷婷性爱网| 都市激情久久| 亚洲成人中心| 九色99视频| 婷婷色激情网| 亚洲婷婷五月天| 婷婷丁香五月综合网| 在线中文av| 五月天亭亭俺也| 日本不卡一区二区三区| 久9免费视频| 99性爱精品| 婷婷丁香六月| 久久五月网| 五月婷婷啪| 99性爱| 色婷婷中文在线| 久久九九热视频| 思思久久99热只有频精品66| 久热只有这里有精品| 激情五月丁香六月综合AVXXXX| 国产AV影片| 99区视频| 岛国AV网| 亚洲成人av在线| 丁香六月婷婷色XXXXX| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 婷婷香蕉香| 婷婷丁香五月天在线视频| 秋霞成人毛片一级A片| 久久婷婷七月丁香| 丁香五月精品视频| 久久久WWW| 久久99三级在线视频| 婷婷五月AV| 无码少妇高潮喷水A片免费| 色婷婷免费观看| 五月婷婷综合网| 九色综合网| 婷婷九月激情网| 亚洲视频99| 人人爱操| 婷婷五月天丁香| 欧洲亚洲免费视频9| 午夜婷婷久久 | 超碰女人天堂| 国产69久久久欧美黑人A片| 久久五月丁香综合17C| 中文字幕婷婷在线| 亚洲1区| 天天色域综合网| 99色五月| 婷婷D区| 91婷婷丁香| 99热视精品| 99re思思| 影音先锋五月天婷婷丁香在线观看| 五月天.com| 久久婷婷五月综合色天| 色婷婷国色天香综合| 婷婷色色综合| 狠狠插日日干撸| 97碰碰人人| 高潮毛片又色又爽免费| 丁香五月激情综合啪啪| 9 1超碰九色| 超碰91av| 99热这里全都是精品| 免费黄色视频网址| 婷婷金品综合视频| 激情四射五月天偷偷看婷婷| 日本九九九九| 婷色成人| 国产黄大片在线观看画质优化| 99热这里只有精品13| 超碰婷婷色| 日韩爱操视频| 大伊香蕉玖玖爱| cc精品国产性传播| 五月丁香啪。| www久久艹| 99久久综合网| 五月激情啪啪| 激情综合网,婷婷五月天| 操大屄五月天视频| 五月色婷婷综合| 亚洲碰碰碰| 精品五月天| 五月丁香啪啪拍| 四川BBB搡BBB爽爽视频| 3www激情| 铁牛TV人妻| 五月天六月色| 天天综合亚洲综合| 五月婷婷很很色| 激情五月天社区| 婷五月天| 欧美六月| 黄色大片又大粗又爽| 极品人妻VIDEOSSS人妻| 久香草视频在线观看| 超碰99热在线观看| 中文字幕av久久爽一区| 在线VA视频| 红桃91人妻爽人妻爽| 特级西西4444www无码| 五月激情婷婷综合| 亚洲综合激情五月久久| 五月婷婷网站| av在线中文| 中文字幕日产A片在线看| 久热这里这里有精品| 日韩中出视频| 99自拍视频网站| 天天插天天很| 99碰在线视频| 香蕉久久国产AV一区二区| www·五月天| 超碰伊人碰婷婷五月| 丁香久久综合| 狠狠擼综合| 欧美操综合| 五月天激情视频| 色五月色五天色情网| 激情综合网色五月| 婷婷五月天精品| 天天干天天操天天爱| 亭亭五月基地在线| 色五月综合| 这里只有精品1| 国产色丁香| 九九精品re免费视频| 大香蕉精品视频| 1995年关宝慧版蜘蛛女| 六月丁香啪| 99久久网站| 婷婷五月丁香六月综合网| 天天射影| 91亚洲免费片| 久久久久婷婷| 夜夜骑天天操| 激情综合婷婷五月| 亚洲综合成人网站| 开心五月色婷婷综合开心网| 五月丁香色综合| 婷婷综合五月色播| 五月婷婷激情性爱| 久久ri精品视频| 综合网色| 狠狠爱婷婷丁香| 亚洲AAA| 久久与婷婷| j五月香在线| 九九这里都是精品| 婷婷五月综合体验看| 五月丁香狠狠爱婷婷综合| WWW色色色COm| www.婷婷五月.com| 亚洲色综合| 丁香五月激情网| 欧美激情2025| 欧美天天爽| 五月丁香色综合| 碰超亚洲| 国产欧美精品AAAAAA片| √天堂资源在线人妻熟女| 丁香六月婷婷综合在线| 夜夜骑操AV| 超碰99久久| 黄桃AV无码免费一区二区三区| 激情丁香婷婷| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 亚洲欧美在线观看| 97碰免费视频在线| 婷婷五月六月激情| 天天拍夜夜爽日日| 97操视频| 超碰A V在线| 99热 精品在线| 99久久网站| 碰碰91| 婷婷综合视频| 久久五月综合| 色婷婷香蕉丁丁网| 婷婷五月丁香基地在线视频官网| 日韩黄色电影| 一本九九色| 665566 无码| 欧亚成人A片一区二区| 开心激情综合| 五月丁香人人婷婷在线观看| 国产91资源在线| 天天AV导航网| 91AV婷婷| 亚洲五月婷| 婷婷综合色图| 九月激情网| 亚洲五月色| 99热99思午夜精品| 人人摸人人搞| 99啪啪骑| 五月丁香婷婷综合| 婷婷少妇激情| 日韩无码色色| 亚洲精品乱码久久久久久按摩观| 欧美婷婷五月丁香| 激情综合5| 婷婷开心激情| 在线中文字幕免费视频| 久久这里在精品视频| 色婷视频| 日本色色图| 国产AV一区二区三区最新精品| 天天舔日日肏夜夜爽| 九九热99精品在线| 丁香色五月婷婷91桃色| 可以直接看的AV网站| 97碰碰人人| 婷婷五月天激情丁香| 婷婷六月丁香五月| 日日爽夜夜爽| 婷婷丁香五月欧美人| 五月婷婷丁香色播网| 欧美色99| www.sd-xiangsu.cpm| 青青草大香| 综合久久综合久久| 黄色aaaaa| 国产一级片色色| 五月丁香六月婷婷无码| AV成人在线播放| 色娸娸综合网| 五月综合激情婷婷六月色窝| 色婷婷五月在线| 九九激情网| 国精产品一区一区三区免费视频| AA片在线观看视频在线播放| 激情五月丁香五月色| 成人免费视频一区| 在线观看996精品| 婷婷久久五月丁香| 婷婷四月 成人 狠狠干| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 久久综合婷婷| 精品人妻午夜一区二区三区四区| 97久久超碰| 亚洲亚洲人成综合网络| 婷婷色播婷婷| 思思久久精品| 亚洲欧洲中文日韩久久AV乱码| 五月J香蕉婷婷| 99精品网址| 五月天婷婷操逼视频| 噜噜色天天开心| 狠狠人妻久久久久久综合丁香| 亚洲性爱区无码区| 99精品视频网站| 五月综合丁香婷婷| 99热免费| 九九婷婷五月天| 日本三级片片| 开心五月网 | 国产亚洲色婷婷99精品| 99热www.| 亚洲天码视频www蛋播视频| 日本色色网站| 俺去也五月| 色青青电影色五月| 丁香五月91| 五月丁香天堂网婷婷| 婷婷五月天开心网| 五月天婷婷在线AN| 亚洲午夜在线视频| 丁乡久久| 伊人春天av| 五月丁香激情婷婷综合| 极品人妻VideOssS人妻| www久| 无人区码一码二码三码医生系列| 大香蕉婷婷婷| 在线观看的av| 六月丁香婷婷开心综合基地| 五月激情天天干| 99久久99久久综合| 久热一区| 久久婷婷内射| 99精品在线下载| 超碰色综合| 天天揷综合网| 91色噜噜狠狠狠狠色综合| 思思热99er在线视频| 天天干天天干天天操| 丁香六月婷婷久久综合| 亚洲中文AV网站| 激情网第九色| 婷婷涩涩五月天| 五月天色婷婷综合| 人人操操97| 先锋五月婷婷丁香草草| 丁香色情五月综合网站| 久艹大香蕉| 中文字幕日本最新乱码视频 | 国产精品激情五月天色婷婷| 热久久91| 天堂婷婷综合| 99 热| 天天操婷婷| 国产无遮挡又黄又爽免费网站| 开心五月婷婷婷美女| www.丁香黄色五月天人与| 91精品久久久久久77777| 色啪久| 精品婷婷五| 久色激情| 久久涩视频| 无码一区二区日韩| 1024操逼视频| 欧美激情综合| 久久久性爱视频| 婷婷丁香综合成人| 五月天婷婷基地| 91色九| 婷婷五月天黄色小说| 五月天婷婷激情| 99ri国产在线| 五月天综合| 精品热九九| 九九热这里只有精品5| 五月丁六月香| AA丁香综合激情| 最新色色五月天| www.26uuu.com亚洲电影| 婷婷综合网| 91九色中文| a久久免费视频| 97在线观视频免费观看| 激情五月丁香五月| 中文字幕AV在线播放| 99这里只有精| 久cao香蕉影院| 五月丁香六月日逼| 人人摸人人摸| 精品牛仔裤超碰| 五月天天综合| 婷婷伊人视婷婷婷| 婷婷五月六月丁香综合| 色色99| 五月大香蕉| 亭亭色网| www.99热精品| 丁香五月天激情免费在线观看AV777| 亚洲精品第一国产综合亚AV | 久热99| 国产亚洲色婷婷久久99精品91| 国产资源在线视频| 99在热线免费视频| 五月丁香婷婷狠狠操| 丁香六月毛片| 久久久av久av久片一区二区| www.激情com| 最新热中文字幕| 日韩999| 影音先锋一区| 综合成人小说婷婷| 丁香五月婷婷久久久| 综合久久五月天| 丁香色色五月| 日日狠狠久久偷偷四色综合免费 | 日本激情ⅩXX免费视频| 日日天天干| 婷婷精品视频| 成人五月天丁香| 另类伊人婷婷| 婷婷色丁香五月| 激情婷婷五月综合| 婷婷六月丁香欧美视频在线| 97久久久久久久久久久| 五月天婷婷三级黄| 日日色综合| 婷五月天天| 99热婷婷| 五月丁香六月激情综合啪啪| 伊人激情AV一区二区三区| 五婷婷六月合| 桃色五月婷婷| 欧美日韩成人在线观看| 婷婷丁香久久| 成人五月天在线视频在线观看| 天天插综合网| 天天激情夜夜干| 亚洲成人AV高清字幕| 国产精品激情五月天色婷婷| 九月婷婷人人操人人舔人人爱| 五月婷婷av| 国产97色在线 | 日韩| 久九色| 亚洲综合网区| 拍真实国产伦偷精品| 国产裸舞福利资源在线视频| 婷婷丁香五月天综合激情| 亚洲九九在线| 热99视频精品在线| 六月婷婷色宗合| AⅤ在线播放网| 97碰超级人人看| 黄色五月婷婷| 激情AV| 日本九九热| 国产又粗又大又爽又黄| 婷婷五月丁香成人| 婷婷亚洲久久| 色爱终和网| 97日本在线| 日本va欧美va国产激情| 插少妇综合网| 久热在线中文字幕色999舞| 亚洲人妻五月丁香婷婷| 丁香婷婷五月综合影院| 可以看的av| 九九蜜臀精品| 91色性感五月婷婷丁香| 婷婷丁香成人五月天| 成人网站免费在线播放| 国产片XXXXA片国语对白| 五月婷婷亚洲| 成人片在线播放| 伊人丁香在线| 噜噜噜噜综合在线| 大香蕉精品视频| 成人国产欧美大片一区| 亚洲精品午夜国产va久久成人| 婷婷丁香色女人| 97视频久久| 夜夜骑日日夜夜| 丁香六月婷婷缴情欧美| 综合性爱网| 国内婷婷丁香社区在线播放| 久久狠狠干| 夜夜爽天天日| 五月丁香免费视频| ..真实国产乱子伦毛片 | 日本99久久| 丁香婷婷五月天色播| 激情婷婷综合网| 99在线免费视频| 国产97色在线| 天天做天天爱天天摸| 日本丰满久久| 婷婷五月天色| 五月婷婷激情视频| 色色免费网站| 无码人妻一区二区一牛影视| 26uuu另类亚洲欧美日本一| 成人综合视频在线| 狠狠色狠狠操| nvrentiantang av| 婷婷五月天成人网站| 5月婷婷五月天| 久久这里只| 五月丁香亭亭| 99思思| 少妇人妻人伦A片| 久久精典| 五月亭亭开心网| 无码91中文字幕| 第1影院之五月婷婷| 国产精典视频在线观看| 婷婷五月综合欧美在线播放| 久久9久| 99色这里| 538在线| 洗浴中心操B视频| 女人被男人吃奶到高潮| 69色婷婷| 人人操99| 第九色区av天堂| 黄桃AV无码免费一区二区三区| 日韩性爱AV| 玖玖99精品视频| 在线成人网站| 六月丁香中文字幕| 99网址在线看| 五月丁香六月婷婷免费视频| 狠狠色五月天|