欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

從Ring LL到PCIe IPC:多機(jī)多卡AllReduce性能優(yōu)化實(shí)戰(zhàn)

從Ring LL到PCIe IPC:多機(jī)多卡AllReduce性能優(yōu)化實(shí)戰(zhàn) 如果你跑過多機(jī)多卡訓(xùn)練多半被NCCL默認(rèn)的Ring LL算法“慣壞”過——小消息延遲低代碼零改動性能看起來也夠用。但當(dāng)我真正把訓(xùn)練規(guī)模推大到需要跨PCIe Switch和跨NUMA節(jié)點(diǎn)做AllReduce時(shí)Ring LL的弱點(diǎn)一下暴露了聚合帶寬卡在一個(gè)尷尬的區(qū)間上不去而NCCL自帶的Tree算法又沒法覆蓋所有消息尺寸。這篇文章記錄了我從NCCL Ring LL出發(fā)逐步拆解通信瓶頸最終落地一個(gè)基于PCIe IPC的AllReduce實(shí)現(xiàn)的完整過程包括算法選型、CUDA IPC句柄分發(fā)、流水線同步、實(shí)測數(shù)據(jù)和一路踩過的PCIe硬件穩(wěn)定性坑。內(nèi)容面向正在調(diào)多機(jī)多卡通信性能的工程師也適合想要理解NCCL、PCIe拓?fù)?、IPC底層機(jī)制的研究者。1. 基準(zhǔn)測試先撕開口子Ring LL 并非 AllReduce 的萬能解1.1 測試環(huán)境與方法兩臺 8 卡 A100 的具體配置先交代環(huán)境這套數(shù)據(jù)我后來復(fù)現(xiàn)了很多次結(jié)論是穩(wěn)定的。節(jié)點(diǎn)是兩臺配置完全相同的8卡A100 80GB服務(wù)器單機(jī)內(nèi)部8卡通過NVLink全互聯(lián)NVSwitch帶寬跑滿沒有問題跨節(jié)點(diǎn)網(wǎng)卡是兩張ConnectX-6 IB卡分別掛在兩個(gè)PCIe Switch下面單卡P2P走PCIe 4.0 x16。NCCL版本用的2.18.3CUDA版本12.2驅(qū)動版本535.104?;鶞?zhǔn)測試直接用nccl-tests里現(xiàn)成的all_reduce_perf消息大小從8字節(jié)一路掃到64MB測了busbw總線帶寬和延遲。我特意沒有改任何NCCL環(huán)境變量就想看看默認(rèn)配置在最常見場景下到底是什么水平。每個(gè)消息尺寸跑滿200輪取中位數(shù)避免冷啟動和波動干擾。說實(shí)話第一輪結(jié)果出來我并沒有覺得太意外。8字節(jié)到64KB這個(gè)區(qū)間Ring LL的延遲表現(xiàn)確實(shí)漂亮多機(jī)跨IB的時(shí)延能從幾十微秒壓到十幾微秒。真正讓我皺眉的是1MB到16MB這個(gè)區(qū)間busbw只有理論峰值帶寬的60%到75%而且波動明顯多跑幾輪有時(shí)候還能掉到一半以下。這個(gè)區(qū)間恰恰是大模型梯度同步最常見的消息大小——每個(gè)tensor的梯度allreduce合并之后基本就在這個(gè)范圍。1.2 現(xiàn)象與誤判為什么大消息時(shí) Ring LL 的帶寬上不去先用一個(gè)更直白的類比說明Ring Ring LL的問題。環(huán)形AllReduce相當(dāng)于“擊鼓傳花”數(shù)據(jù)按GPU數(shù)量切成N份每個(gè)GPU只負(fù)責(zé)相鄰兩個(gè)GPU之間的收發(fā)一輪結(jié)束后每個(gè)GPU手里都有一片“最終值”的碎片再跑一輪把碎片廣播給所有人。好處是每張卡的帶寬壓力很均勻壞處是每一跳都有固定的協(xié)議開銷跳數(shù)越多這個(gè)開銷累積得越明顯。Ring LL中的LLLow Latency協(xié)議核心思路是把數(shù)據(jù)和標(biāo)志位打包在一起發(fā)送接收方靠標(biāo)志位判斷數(shù)據(jù)是否有效從而省去額外的同步握手。這個(gè)設(shè)計(jì)對延遲極其友好但它是拿帶寬換延遲為了讓標(biāo)志位緊跟數(shù)據(jù)每個(gè)小數(shù)據(jù)塊都要附帶額外的flag等于在PCIe總線上多傳一部分“快遞面單”。當(dāng)消息變大、數(shù)據(jù)塊增多這些flag會占掉可觀的帶寬而且多跳累積的延遲會直接壓住吞吐。我一開始誤判成網(wǎng)絡(luò)卡頓還去查了IB交換機(jī)端口計(jì)數(shù)結(jié)果丟包和重傳都正常。后來用nsys拉了一輪profile才看明白瓶頸根本不在IB鏈路上而在GPU之間的數(shù)據(jù)搬運(yùn)路徑上Ring的每一跳都要經(jīng)過SM做一次reduce消息越大SM花在加載/存儲上的時(shí)間越長流水線一旦沒法填滿總線帶寬自然掉下來。1.3 翻源碼找原因LL 協(xié)議的同步機(jī)制在高并發(fā)下的副作用理論分析只能幫我定位方向真正確認(rèn)問題還是得翻源碼。NCCL的核心實(shí)現(xiàn)在src/collectives/device/all_reduce.cc而算法調(diào)度在src/algorithm/下面分成了ring.cc和tree.cc協(xié)議層則在src/include/device/下按LL、LL128、Simple分開實(shí)現(xiàn)。我看到的關(guān)鍵點(diǎn)在LL協(xié)議的數(shù)據(jù)布局它會把一段連續(xù)顯存拆成“數(shù)據(jù)flag”交錯的塊flag用一個(gè)額外字節(jié)標(biāo)記這個(gè)塊是否被消費(fèi)過。在GPU kernel里消費(fèi)方和生產(chǎn)者靠這些flag完成點(diǎn)對點(diǎn)同步。小消息場景flag開銷占比低延遲收益大但數(shù)據(jù)量一上來flag本身就成了額外的PCIe流量更要命的是flag讀寫還引入了額外的內(nèi)存屏障導(dǎo)致SM的指令流水線頻繁停頓。這就是為什么NCCL在消息偏大的時(shí)候會自動切到Tree算法——Tree的帶寬模型是2*log(N)相比Ring的2*(N-1)/N在大規(guī)模場景更優(yōu)。但Tree的延遲更高因?yàn)樗繉佣加芯酆系却虚g段消息尺寸下兩頭不討好。這也正是我決定自己動手的原因在1MB到64MB這個(gè)區(qū)間我需要一種能利用PCIe拓?fù)浜瓦M(jìn)程間直接共享內(nèi)存的AllReduce而不是讓數(shù)據(jù)在Ring上反復(fù)繞圈。2. 把 PCIe 拓?fù)浜?IPC 講透優(yōu)化才不會走彎路2.1 一張 topo 圖看懂卡間通路NVLink、PCIe Switch 與 CPU動手寫代碼之前我花了不少時(shí)間把物理拓?fù)鋸氐赘闱宄?。nvidia-smi topo -m的輸出看起來是一堆縮寫但每個(gè)縮寫背后都對應(yīng)一條真實(shí)的數(shù)據(jù)通路。我自己那臺機(jī)器的輸出簡化一下大概長這樣GPU0 GPU1 GPU2 GPU3 GPU4 GPU5 GPU6 GPU7 NIC0 NIC1 GPU0 X NV8 NV8 NV8 NV8 NV8 NV8 NV8 PIX PXB GPU1 NV8 X NV8 NV8 NV8 NV8 NV8 NV8 PIX PXB ... GPU6 NV8 NV8 NV8 NV8 NV8 X NV8 NV8 PXB PIX GPU7 NV8 NV8 NV8 NV8 NV8 NV8 X NV8 PXB PIX NIC0 PIX PIX PXB PXB PXB PXB PXB PXB X PIX NIC1 PXB PXB PIX PIX PIX PIX PIX PIX PIX X這里NV8表示兩塊GPU走NVLink同一個(gè)NVSwitch域內(nèi)而PIX表示經(jīng)過一個(gè)PCIe SwitchPXB表示經(jīng)過多個(gè)PCIe橋再連到CPU的Root Complex。同樣是P2PPIX和PXB的帶寬和延遲差距非常明顯PIX基本能跑滿PCIe 4.0 x16的單向帶寬PXB因?yàn)橐@CPU延遲高出一截帶寬也可能打折。這個(gè)圖的重要性在于不是所有GPU之間都有資格談“P2P直連”。跨NUMA、跨PCIe域的組合CUDA的cudaDeviceCanAccessPeer會直接返回false這時(shí)候你就算用了IPC映射數(shù)據(jù)也要從源GPU搬到CPU內(nèi)存再搬到目標(biāo)GPU性能和普通cudaMemcpy沒什么區(qū)別。所以優(yōu)化AllReduce的第一步是先給參與通信的GPU畫一張“能直連”的地圖而不是盲目把16張卡全部拉進(jìn)同一個(gè)通信域。2.2 IPC 是跨進(jìn)程的“望遠(yuǎn)鏡”cudaIpcMemHandle 的作用多進(jìn)程訓(xùn)練里有個(gè)經(jīng)典的坑每個(gè)MPI rank進(jìn)程各自調(diào)用cudaMalloc申請顯存得到的是本進(jìn)程地址空間里的指針。另一個(gè)進(jìn)程就算知道這個(gè)指針的值也無法直接訪問——GPU顯存的虛擬地址是進(jìn)程隔離的。這時(shí)候就需要CUDA IPC機(jī)制出場。cudaIpcMemHandle_t本質(zhì)是一份指向某段GPU內(nèi)存的“全局引用”。進(jìn)程A調(diào)用cudaIpcGetMemHandle把申請到的顯存變成句柄通過MPI廣播給進(jìn)程B進(jìn)程B再調(diào)用cudaIpcOpenMemHandle拿到一個(gè)屬于自己的地址映射。之后進(jìn)程B就可以像操作本地指針一樣讀寫進(jìn)程A的那塊顯存——前提是兩者能夠P2P訪問。如果P2P不可用cudaIpcOpenMemHandle依然可能成功但后續(xù)cudaMemcpyPeer和kernel訪問會退化成走CPU的路徑性能直線下滑。這也是為什么標(biāo)題里“PCIe IPC”是綁在一起說的IPC解決的是“跨進(jìn)程怎么找到對方的顯存”PCIe解決的是“找到之后數(shù)據(jù)走哪條路到達(dá)”。兩者配合好才能做到真正意義上的零拷貝跨進(jìn)程通信。我在代碼里用cudaIpcOpenMemHandle映射對端rank的buffer之后再把指針傳給自定義CUDA kernel做reduce整個(gè)路徑?jīng)]有一次顯式cudaMemcpy。2.3 P2P 不生效時(shí)數(shù)據(jù)會繞到哪里去還有一個(gè)必須掌握的排查手段是看P2P到底有沒有生效。cudaDeviceCanAccessPeer(0, dev, peerDev)返回true只能說明“硬件路徑理論上支持”不代表驅(qū)動一定會給你最優(yōu)路徑。實(shí)踐里我見過兩種情況很坑第一種是UVA統(tǒng)一虛擬地址沒開。雖然現(xiàn)代CUDA默認(rèn)開但某些容器環(huán)境或老驅(qū)動下IPC映射后的指針不在同一個(gè)地址空間里kernel訪問會直接報(bào)錯或極端降速。第二種是設(shè)備在/dev/nvidia*下的權(quán)限限制比如容器里只映射了部分設(shè)備cudaIpcOpenMemHandle返回CUDA_ERROR_PEER_ACCESS_UNSUPPORTED。排查P2P實(shí)際路徑最直接的辦法是用nvidia-smi -q -d P2P看每對GPU之間的P2P狀態(tài)再配合cudaMemcpyPeer做一次帶寬測試。我自己寫了一個(gè)小工具對每對GPU跑1MB的peer copy測完自然知道哪些鏈路適合做IPC直通哪些鏈路要讓算法繞開。數(shù)據(jù)說話比盯著拓?fù)鋱D猜靠譜得多。3. PCIe IPC AllReduce 落地算法、句柄分發(fā)與流水線3.1 算法骨架本地 Reduce 跨進(jìn)程 Scatter/Gather具體設(shè)計(jì)時(shí)我沒有傻到把16張卡全部拉進(jìn)一個(gè)巨大的環(huán)——那樣等于把Ring LL的問題用另一種形式重新犯一遍。我的做法是分兩層第一層單機(jī)內(nèi)部走“局部Reduce”。同一臺機(jī)器上的8張GPU通過NVLink先各自計(jì)算本地?cái)?shù)據(jù)的局部和把8份結(jié)果歸并成1份“單機(jī)全局值”。這一步通信量小、延遲低用NCCL自己的Ring LL跑都很快沒必要自己寫。第二層跨進(jìn)程/跨節(jié)點(diǎn)用IPC直通。兩臺機(jī)器各有自己的“單機(jī)全局值”現(xiàn)在要做的是把這2份或多份值在兩臺機(jī)器之間同步。我把參與通信的rank兩兩配對每對rank通過IPC映射對方的buffer然后讓CUDA kernel同時(shí)讀自己和對方的地址做一次按元素相加再把結(jié)果寫回雙方。整個(gè)過程等價(jià)于一個(gè)最小化的AllReduce樹但每一層都走PCIe P2P路徑不用SM繞圈也不用網(wǎng)絡(luò)協(xié)議棧。對于兩機(jī)八卡這個(gè)算法只需要一輪配對通信就結(jié)束數(shù)據(jù)從“單機(jī)值”變成“全局值”。擴(kuò)展到四機(jī)時(shí)先兩兩配對reduce一次再在兩組之間reduce一次就是一棵深度為log2(P)的樹。樹的每一跳都是IPC直通跳數(shù)比Ring少得多這是它在中等消息尺寸能勝過Ring LL的根本原因。3.2 句柄分發(fā)與 P2P 使能的代碼細(xì)節(jié)IPC句柄分發(fā)的代碼并不復(fù)雜但細(xì)節(jié)很多。核心流程是每個(gè)rank先把自己要共享的那塊顯存轉(zhuǎn)成cudaIpcMemHandle_t用MPI_Allgather把句柄廣播出去之后每個(gè)rank遍歷收到的句柄調(diào)用cudaIpcOpenMemHandle打開“別人的顯存”。// 偽代碼示意 cudaIpcMemHandle_t myHandle; cudaIpcGetMemHandle(myHandle, myBuffer); MPI_Allgather(myHandle, sizeof(myHandle), MPI_BYTE, allHandles, sizeof(myHandle), MPI_BYTE, comm); void* peerPtrs[RANK_COUNT]; for (int i 0; i RANK_COUNT; i) { if (i myRank) { peerPtrs[i] myBuffer; } else { cudaIpcOpenMemHandle(peerPtrs[i], allHandles[i], cudaIpcMemLazyEnablePeerAccess); } }這里有個(gè)我一開始沒注意的細(xì)節(jié)cudaIpcOpenMemHandle的最后一個(gè)參數(shù)。如果傳0表示“打開句柄但不自動使能P2P”主要用于只想訪問數(shù)據(jù)不想開P2P的場景如果傳cudaIpcMemLazyEnablePeerAccess打開的同時(shí)嘗試使能P2P。強(qiáng)烈建議顯式傳這個(gè)flag否則后續(xù)kernel訪問對方指針很可能落在慢速路徑上性能慘不忍睹。還有一個(gè)常見坑是句柄的字節(jié)序和對齊。cudaIpcMemHandle_t是一個(gè)64字節(jié)的不透明結(jié)構(gòu)跨平臺傳輸時(shí)不能把它當(dāng)簡單字符串比較或打印直接通過MPI按字節(jié)廣播最穩(wěn)妥。另外打開句柄之后一定要在通信結(jié)束時(shí)調(diào)用cudaIpcCloseMemHandle釋放映射否則長時(shí)間跑訓(xùn)練進(jìn)程會積累大量虛擬映射最終導(dǎo)致地址空間碎片化。3.3 同步與流水線別讓 AllReduce 退化成串行拷貝代碼寫完第一版性能慘到懷疑人生——比Ring LL還慢。后來一查問題是同步方式寫得太粗我在每輪kernel之間都調(diào)了cudaDeviceSynchronize等于每步都在等GPU干完活完全把流水線壓成了串行。正確做法是用CUDA event做流內(nèi)同步或者直接在kernel內(nèi)部用原子/flag做細(xì)粒度同步。把那版同步改掉之后我把通信拆成了三段流水第一段從對端buffer加載數(shù)據(jù)到寄存器第二段做元素相加第三段把結(jié)果寫回對端buffer。這恰好對應(yīng)GPU kernel里的循環(huán)展開結(jié)構(gòu)讓加載和計(jì)算重疊寫回和下一輪的加載重疊。這里還有一個(gè)關(guān)鍵優(yōu)化不要開cudaMemcpyPeerAsync而是直接在自定義kernel里讀寫對端指針。因?yàn)閏udaMemcpyPeerAsync在內(nèi)部可能會觸發(fā)額外的驅(qū)動狀態(tài)機(jī)處理而kernel直接訪問IPC映射的peer指針走的是SM加載/存儲指令路徑最短。代碼上看就是普通指針dereference但物理上數(shù)據(jù)直接跨PCIe走了。3.4 第一個(gè)能跑的版本和它的問題第一個(gè)能跑通的版本大概只有150行CUDA代碼功能上完全正確性能卻只在4MB附近有優(yōu)勢再小或再大都不如NCCL。問題出在兩處一是小消息時(shí)IPC句柄分發(fā)和P2P使能的開銷占比太高。2KB的消息通信本身的活不到一微秒開句柄和同步的固定成本倒要十幾微秒自然比不過Ring LL。二是大消息時(shí)單個(gè)kernel內(nèi)大量元素循環(huán)導(dǎo)致寄存器溢出。A100一個(gè)SM的寄存器文件有限我讓每個(gè)線程處理太多元素編譯器只能把中間結(jié)果spill到local memory速度直接掉一個(gè)量級。解法是讓每個(gè)線程只處理8到16個(gè)元素剩下的交給更多的線程塊而不是把循環(huán)塞給單個(gè)線程。這兩個(gè)問題倒逼我把算法設(shè)計(jì)成“分段自適應(yīng)”小于1MB走NCCL Ring LL1MB到64MB走我自定義的IPC AllReduce超過128MB干脆直接用NCCL的Tree。這個(gè)取舍讓整體曲線變得平滑也讓我的自定義實(shí)現(xiàn)真正聚焦在它的優(yōu)勢區(qū)間。4. 實(shí)測數(shù)據(jù)與參數(shù)調(diào)優(yōu)性能翻倍出現(xiàn)在哪個(gè)區(qū)間4.1 三種算法的橫向?qū)Ρ萊ing LL、Tree 與 IPC AllReduce兩機(jī)8卡場景下的實(shí)測數(shù)據(jù)我提取了一段有代表性的結(jié)果。下表是all_reduce_perf的busbw單位GB/s數(shù)據(jù)越大越好消息大小Ring LLTree AllReduce自定義 PCIe IPC AllReduce16KB32.422.128.7256KB88.674.391.21MB124.3138.2176.54MB118.7186.4204.816MB102.5218.3232.664MB86.4224.1218.9可以明顯看到三個(gè)區(qū)間小消息256KBRing LL還是王者畢竟它的延遲優(yōu)勢在中等消息1MB到16MB我的IPC實(shí)現(xiàn)收益最大相對Ring LL幾乎翻倍超大消息64MBTree追了上來和IPC實(shí)現(xiàn)打平甚至反超。這印證了NCCL內(nèi)部算法選擇器是有道理的——沒有哪個(gè)算法能統(tǒng)治全部尺寸工程上要按區(qū)間分而治之。延遲方面IPC AllReduce的優(yōu)勢只在多跳場景下體現(xiàn)。兩機(jī)通信只有一跳延遲和Ring LL差不多但如果擴(kuò)展到四機(jī)Ring需要繞三跳我的樹只需要兩跳延遲優(yōu)勢會拉大到百分之二十左右。4.2 NCCL_ALGO/NCCL_PROTO/通道數(shù)這些參數(shù)到底在控制什么如果你不想寫自定義實(shí)現(xiàn)純粹靠調(diào)NCCL參數(shù)能提升多少我的經(jīng)驗(yàn)是能調(diào)但天花板有限。NCCL的參數(shù)體系核心是三個(gè)NCCL_ALGO控制算法取值有Ring、Tree、Collnet和Pat等。NCCL_PROTO控制協(xié)議取值有LL、LL128和Simple。LL和LL128都是低延遲協(xié)議LL128在128字節(jié)對齊的塊上做優(yōu)化帶寬比LL好一些Simple是沒有flag的純數(shù)據(jù)協(xié)議帶寬最高但需要額外的同步機(jī)制延遲也最高。實(shí)際調(diào)優(yōu)中中等消息區(qū)間可以嘗試NCCL_PROTOSimpleNCCL_ALGOTree的組合確實(shí)比默認(rèn)的Ring LL好不少。但我的自定義IPC路徑還是快了10%到15%差距主要來自少了一層協(xié)議封裝以及直接把數(shù)據(jù)通路壓在peer mapping上省掉了NCCL內(nèi)部的flag和同步原語。還有一個(gè)經(jīng)常被忽視的參數(shù)是NCCL_MAX_NCHANNELS。NCCL在處理大消息時(shí)會多開幾個(gè)通道并行傳輸?shù)ǖ罃?shù)不是越多越好——PCIe Switch的總帶寬就那么多通道開多了反而增加仲裁開銷。實(shí)測我的環(huán)境里8個(gè)通道最優(yōu)調(diào)的太高反而降速。4.3 擴(kuò)展到 16 卡時(shí)要注意的 PCIe Switch 帶寬共享單機(jī)8卡測完效果不錯我自然想擴(kuò)展到兩機(jī)16卡、四機(jī)32卡。結(jié)果第一輪就把我打醒16卡時(shí)IPC AllReduce相對Ring LL的增益從翻倍縮小到只有30%左右。原因不復(fù)雜我這兩臺機(jī)器的PCIe拓?fù)涫敲颗_機(jī)器有兩個(gè)PCIe Switch每個(gè)Switch下面掛了4張GPU加一張IB網(wǎng)卡。當(dāng)我用IPC讓跨節(jié)點(diǎn)GPU做P2P時(shí)數(shù)據(jù)要從GPU A的顯存出發(fā)經(jīng)PCIe Switch到IB網(wǎng)卡再到對端機(jī)器。這整個(gè)鏈條共享同一個(gè)PCIe Switch的帶寬一張卡跑的時(shí)候能獨(dú)占x16四張卡同時(shí)跑就變成四張卡分同一個(gè)Switch的帶寬單卡等效帶寬直接除以4。這個(gè)限制單純靠算法繞不過去除非換到NVLink跨機(jī)比如NVLink-C2C或者用更多網(wǎng)卡分擔(dān)流量。所以在設(shè)計(jì)大規(guī)模AllReduce時(shí)我會先跑一遍nvidia-smi topo -m數(shù)一數(shù)哪些GPU共享同一個(gè)Switch然后把配對的rank盡量分散到不同的Switch上讓流量在多個(gè)PCIe域之間分流。這個(gè)拓?fù)涓兄呐判虮热魏未a優(yōu)化帶來的收益都直接。5. 比算法更磨人的是 PCIe 硬件本身的坑5.1 AER 錯誤與掉卡壓力測試暴露的信號完整性問題性能調(diào)優(yōu)告一段落后我把自定義AllReduce接到真實(shí)訓(xùn)練腳本里跑了兩周長穩(wěn)測試。大概跑到第三天第一張GPU開始神秘掉線訓(xùn)練進(jìn)程還在跑但nvidia-smi里看不到這張卡了dmesg刷屏滿是對PCIe的報(bào)錯日志。這類問題的關(guān)鍵詞是AERAdvanced Error Reporting。dmesg里會看到類似PCIe Bus Error: severityCorrected的條目翻譯成人話就是PCIe鏈路在物理層檢測到了傳輸錯誤但糾錯機(jī)制成功修復(fù)了。一次兩次不用管但頻繁出現(xiàn)就說明信號完整性在惡化——通常是PCIe鏈路訓(xùn)練不穩(wěn)定、供電波紋過大、或者卡沒插緊。我踩過的具體場景是機(jī)柜里的服務(wù)器長時(shí)間高負(fù)載運(yùn)行后GPU溫度上升PCIe插槽附近的金屬結(jié)構(gòu)發(fā)生微小熱脹冷縮接觸電阻變大于是鏈路開始出現(xiàn)corrected error。最詭異的是這類問題在低負(fù)載時(shí)很難復(fù)現(xiàn)只有AllReduce讓PCIe總線滿負(fù)荷持續(xù)跑很久才會暴露。處理思路分三步第一步把pcinoaer加進(jìn)內(nèi)核啟動參數(shù)暫時(shí)屏蔽AER風(fēng)暴保證訓(xùn)練不斷第二步把出問題卡和對應(yīng)槽位重新插拔、清潔金手指第三步在BIOS里關(guān)閉ASPM電源管理并把PCIe Gen鎖定在Gen4而不是Auto杜絕因電源狀態(tài)切換導(dǎo)致鏈路重訓(xùn)。5.2 鏈路降速的隱蔽影響與排查命令掉卡之前其實(shí)還有一個(gè)更隱蔽的信號鏈路降速。PCIe鏈路協(xié)商出來的速率會動態(tài)變化如果信號質(zhì)量變差主板控制器會自動把速率從16GT/s降到8GT/s甚至降到2.5GT/s。這個(gè)過程對操作系統(tǒng)和驅(qū)動來說都是“正常”的訓(xùn)練進(jìn)程也不會報(bào)錯唯一表現(xiàn)是AllReduce帶寬悄悄折半。排查命令我在前面提到過再強(qiáng)調(diào)一遍lspci -vvv | grep -A5 -B5 LnkSta重點(diǎn)看每個(gè)PCIe設(shè)備當(dāng)前協(xié)商的速率和通道數(shù)正常應(yīng)該顯示LnkSta: Speed 16GT/s, Width x16。nvidia-smi -q -d PCI查看GPU自己的PCIe鏈路信息。dmesg | grep -i pcie確認(rèn)有沒有鏈路降速的重訓(xùn)記錄。那次排查我找到了一張卡的LnkSta降到了8GT/s但nvidia-smi里顯示一切正常。找到之后強(qiáng)制觸發(fā)鏈路重訓(xùn)在BIOS里把PCIe Gen明確設(shè)為Gen4帶寬馬上回來了。這個(gè)坑之所以隱蔽是因?yàn)樗挥绊懝δ?、只影響性能而性能問題排查起來最耗時(shí)間。5.3 上生產(chǎn)前的穩(wěn)定性檢查清單這些坑踩完我沉淀了一份檢查清單總結(jié)如下進(jìn)BIOS關(guān)閉ASPM和任何PCIe電源管理訓(xùn)練機(jī)器不需要省電它需要穩(wěn)定。把PCIe Gen固定在最支持的代數(shù)不要用Auto避免鏈路反復(fù)重訓(xùn)。確認(rèn)每張GPU的LnkSta都協(xié)商在預(yù)期速率記錄基線后續(xù)對比。跑至少24小時(shí)PCIe滿負(fù)荷壓力測試觀察dmesg里AER報(bào)錯數(shù)量和類型。定期檢查nvidia-smi topo -m和實(shí)際P2P帶寬固件或驅(qū)動更新后拓?fù)淇赡茏兓?。不要在?xùn)練中途熱插拔任何PCIe設(shè)備——就算主板和驅(qū)動支持集群調(diào)度器也不會優(yōu)雅處理。我在FDR環(huán)境里測試過插拔后驅(qū)動要重新枚舉設(shè)備而GPU顯存里的訓(xùn)練狀態(tài)基本全部丟失最后只能重啟作業(yè)。關(guān)于“PCIe枚舉過程”還有一個(gè)容易被忽略的點(diǎn)如果機(jī)器在開機(jī)時(shí)GPU沒有被正確枚舉比如POST階段某個(gè)槽位報(bào)錯后面就算系統(tǒng)起來了這張卡也可能不在NUMA節(jié)點(diǎn)上影響所有P2P路徑。我習(xí)慣在裝完環(huán)境后立即做一次完整的枚舉狀態(tài)核對把每張卡和它在topo -m里的位置記錄下來省得后面踩了拓?fù)涞目舆€誤以為是算法問題。這次從Ring LL切換到PCIe IPC AllReduce的經(jīng)歷說到底是兩條線的交叉一條是算法層面理解NCCL為什么快、為什么慢另一條是硬件層面搞清PCIe鏈路、拓?fù)?、IPC映射背后的物理限制。如果讓我給后來者一句最實(shí)在的建議先用nvidia-smi topo -m和數(shù)據(jù)通路的帶寬測試搞清楚你的卡和卡之間到底有幾條路、路況如何再決定要不要自己寫AllReduce實(shí)現(xiàn)。很多情況下調(diào)整NCCL_ALGO和NCCL_PROTO、強(qiáng)制固定PCIe Gen、關(guān)掉ASPM就能解決80%的性能和穩(wěn)定性問題剩下那20%才需要你深入IPC映射和kernel級別的通信優(yōu)化。這次的自定義實(shí)現(xiàn)雖然只在1MB到64MB的區(qū)間里發(fā)揮了最大價(jià)值但它讓我徹底弄清了從Ring LL到PCIe IPC中間每一層數(shù)據(jù)是怎么流動的這份理解比跑分提升本身更值錢。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久看婷婷| 色五月婷婷久久爱| 超碰不卡在线| 中文字幕av网站| WWW.桔色成人.COM| 婷婷狠狠操| 天天综合精品| 精品久久久人妻| 婷婷色色播五月天| 成人超碰AV| 99热日韩| 99热精品99| 男女av免费看| 精品久久久91久久影视网| 五月天激情电影| 99热色精品| 天天在线久久综合| 综合五月草| 丁香九月综合| 婷婷五月丁香欧洲| 新激情综合| 狠狠干.com| 婷婷色中文字幕| 九色婷婷| 色久女| 26uuu欧美日本| 爱的综合网| 丁香九月综合| 1024AV视频| 久久精彩免费视频| 国产成人+综合亚洲+天堂| 强伦轩人妻一区二区电影| 五月丁香婷婷成人综合网| 伊人日日干| 热的五码久久精品| 亚洲美女高潮久久久久久69| 91在线视频综合| 九热av| 婷婷丁香激情五月天色色色| 牛牛热这里只有jingpin| 九九在线视频| 天天色天天日| 综合网天天| 婷婷五月天激情小说| 99这里热| 欧美日韩成人在线观看| 综合网啪| 91免费看片| 五月天激情国产综合婷婷| 色综合综合色| 色婷婷色人人射| 狠狠色五月| 天天做天天爱天天爽在| 激情综合五月色在线| 99 热| 五月激情视频| 五月丁香六月在线欧美| 91操人| 久热婷婷| 亚洲午夜精品久久久久久人妖| 久操热线| 色噜噜狠狠色综| 99久久久免费| 婷婷放心五日爱| 成人电影一区| 丁香婷婷精品视频| 狠狠五月天婷婷| 袁子仪视频观看| 99rewww| 日本a片网址| 天天久久人人| 婷婷五月天视| 五月天婷婷色紫薇阁| 淫荡家庭AV| 深爱五月月天| 五月亚洲激情| 五月天激情中文字幕| 丁香婷婷六月天| 天天草天天爱| 99久久er| 色爱亚洲| 亚洲综合在线播放| 久草五月天| 99热在线观看精品| 超碰在线99| 国产成人一区二区三区在线观看| 中文字幕在线aⅴ免费观看| 成人国产欧美大片一区| 182tv992tv人之初午夜免费观看| 98热精品| 九九狠狠干| 六月99天天婷婷激情综合| 九色91视频| 欧美在线操| 99色天堂| 五月婷婷狠天天色综合| 久久99这里只有精品视频| 五月丁香六月婷婷在线播放| www夜夜操com| 日本99在线| 超碰免费人妻| 青草五月天| 色婷婷丁香五月| 日日做A爰片久久毛片A片英语| 性生生活大片又黄又| 国产av一区二区三区| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 日韩久久日| 99在线爽| 99九九在线观看免费| 99碰碰| 五月婷婷六月丁香激情深爱| 五月丁激情| 狠色狠色综合久久| 99久久五月婷婷| 五月天社区婷婷丁香社区| 色色五月天丁香| 五月丁香六月成人| 色www久视频| 成人免费超碰| 婷婷色啪| 久久久久亚洲A∨成人乱码电影| 婷婷五月精品在线| 久久思思精品| 久久激情五月婷婷| 亚洲人人操| 日韩精品一区二区三区,四区,五区视频| 熟妇天天综合| 九月影院義母在线播放| 色五月婷婷在线视频| 狠狠色丁香婷婷综合久久97AV| 丁香色情五月综合网站| 91狠狠色丁香| 操碰97| www.色多多婷| 久综合九| 91操色| 激情综合网 激情五月天| 97色色在线视频| 99热日| 亚洲综合在线视频| 色和综合网| 91pornav在线| 久久五月天大美女| 天天爽天天摸| 久久久久久激情| 亚洲激情AV| 九九99精品免费播放| 91seAV| www.五月天色色.com| 五月天激情综合首页| 五月婷婷精品视频| 成人免费高清在线播放| 99无码视频| 伊人九热| 婷婷五月天久久久| 色欲五月婷婷| 色婷婷综合久久久久| 天天日天天色| 另类国产区| 五月天综合网| 丁香丝袜五月| 激情久久五月天| 婷婷五月天成人网| 五月叮香啪| 中文字幕成人| 五月丁香六月激情综合欧美| 亚洲综合色色| 天天综合区| 成年人夜夜喷水| 久久奄也去色色网站| 色五月丁香五月| 激情五月天社区| 亚洲成人日韩无码精品| 色婷五月| 色婷婷色五月综合| 九九热超碰| 亚洲激情四射色| 色婷婷天堂| 思思热99er在线视频| 思思re99视频在线观看| 思思热在线观看| 亚洲成人丁香花| 丁香六月久久| 狠狠搞亚洲| 大香蕉五月天婷婷| 91婷婷视频| 女婷久久| 国产午夜精品久久久观看| 亚洲精品国产成人AV在线| 九九色婷婷五月天| AV操逼网| 五月丁香六月花| 色婷丁香| 日本A片一区| 婷婷香香五月| 亚洲另类日本| 亚洲中文字幕在线观看| 婷婷六月激情| 99这里只有精品99| 五月激情天| 国产免费av在线| 婷婷五月天亚洲天堂| 色色色热| 久久综合婷婷激情| 91久久久久久| 亚洲日日日| 久久综合激情| 人人性久久| 欧美黑人巨大猛烈cuckold| 五月天婷婷免费视频| 国产精品人人做人人爽人人添| 伦99热| 中文字幕激情综合| 深爱五月亚洲| 日日爽夜夜爽| 九九九午夜视频| 久久五月天激情视频| 欧洲一区二区| Www.Av网9| wwwss在线观看| 婷婷五月视屏| 思思久久99热只有频精品66| 99无码视频| 婷婷狠狠干| 久久久99精品免费观看| 亚洲成人免费在线| 99这里热| 31色区视频免费看| 亚洲XX日本| 婷婷大香蕉| 五月丁香最新| 天天擼久久擼在线| 大香网伊人久久综合| 日本99视频精品免费播放| 亚洲十月婷婷综合| 久久激情视频| 操操啪| 特级西西4444www无码| 日日做A爰片久久毛片A片英语| 97婷婷狠狠| 婷婷开心六月| 日日影院 | 色婷视频| 91精品久久久久久久久| 丁香五月 无码| 亚洲人人96@| 欧美大香蕉视频| 久久ri精品视频| 丁香五月婷婷丫| 久操婷婷| 色噜噜狠狠色综合网| 久热精品视频| 99精品视频免费观看近期发布| 我爱大香蕉| 六月激情网| 日韩99无码| 这里只精品| 亚洲视频二区| 婷婷欧美激情| 亚洲欧美一区二区三区爱爱动图 | 久久亚洲无码| 婷婷色一二三区波多野结衣| m色激情网| 六月丁香五月婷婷| 色热久资源| 9久国产精品| 东京热人妻一区二区三区在线| 成人网丁香五月| 激情六月综合| 91黄址| 免费亚洲婷婷| 丁香六月色| 婷婷五月天欧美图片在线播放电驴| 六月色婷婷| 五月丁香婷婷综合| 九九色逼| 人妻22p| 人妻久热| 色久影院| 97九色视频| 久久婷婷六月综合综合| 丁香五月亚综合图片| 丁香五月花影院| 久色姿源| 蜜桃人妻无码AV天堂三区| 性韩日色婷婷五月天激情啪啪XXX| 亚洲综合视频网| 99色久| 欧美日韩AAAA| 九热视频在线伦| 亚洲综合视频一下| www久视频com| 亚洲综合婷婷| 97人妻超级碰碰碰碰碰| 伊人丁香五月| 青柠影视免费高清电视剧| 久一这里有精品国产| 饮料下药迷倒漂亮女同事强干| 一级性感黄色内射视频| 久久色区| 99色婷婷视频| 九九综合色| 另类A片| 99九九热在线观看| 婷婷丁香激情综合色情| 99在线热| 久99热| 99啪啪| 五月香婷婷| 大香蕉520| 99久久9| 99熟女| 国产ava| yellow视频在线观看91| 91精品久久久久久久| 久久婷婷色色| 色婷久久| 久久思思热| 久久综合这里只有精品1 | 激情深爱五月天| 丁香五月天激情四射网| 丁香五月先锋| 99热最新| 99热无码首页| ...婷婷五月综合不卡,国产在线手机| 婷婷丁香六月天| 欧洲区自拍| 亚洲天天操| 伊人玖玖综合| 综合久久高清| 99热最新网址| AV九九| 欧洲亚洲免费视频9| 婷婷五月天av| 欧美97p| 91麻豆国产三级精品福利在线观看| 天天成人五月天| 黄网在线免费观| 丁香五月第四色88| 91综合在线观看| 五月丁香啪啪网| 色综合久久88色综合天天看| 人妻AV在线| 色天天综合天天综合频道。| 777米奇影视第四色| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 久/久精品99看9| 久久九九国产精品怡红院| 九九热九九| 欧美性生交XXXXX无码小说| 九九草热在线观看| 九月性爱网| 激情综合网五月天| 丁香婷婷五月综合影院| 五月婷婷之综合激情| www.激情五月天.com| 亚洲日韩乱码一区二区三区四区 | 激情五月综合网最新 | 亚洲AV日韩无码| 超碰国产在线| 插插干干干色| 五月丁香激情综合网官网| 丁香婷婷激情六月五月开心| 日韩人妻在线观看| 久久久久久欧美精品se一二三四| 国产精品色色色色| 亚洲成人AV电影网| 九色自拍| 少妇激情五月婷婷| 婷婷新网址| 中文在线成人| www.主妇. com| 亚洲最大视频| 91尤物九色在线| 99自拍视频在线| 五月天婷婷导航| 亚州第一A片| 人人操AV| 777久久精品| 色五月丁香91| 日韩精品一区二区亚洲AV观看 | 综合久久伊人| 26uuu欧美日本| 色婷婷国色天香综合| 91狼友视频在线观看| 五月天综合图片| 99久久精品国产色欲| 综合色播| 丁香六月毛片| 久草丁香婷婷五月天婷| 激情五月久久| 日本操逼九九九九58日本操逼| 国产综合婷婷| 能看的av| 激情色色色| 婷婷精品视频| 九九热视频精品999| 丁香五月天婷婷激情| 婷婷亚洲色| 成人综合网站| 丁香婷婷免费| 婷婷97C| 五月婷婷丁香综合| caopeng97日韩| 成人短视频免费| 91丨九色丨国产打屁股| 色久五月| 五月婷婷日| 大香蕉久| 五月激情久久综合网| 91色综合网| 少妇人妻丰满做爰XXX| 深爱五月激情| 色色综合色视频| 日韩野外 无套| 六月婷婷激情图片| 色人妻五月| 五月婷啪啪| 少妇AB又爽又紧无码网站| 婷婷五月天无码| 婷婷五月激情网站| 亚洲不卡123| 九色91国产| 丁香五月综合图片在线观看| 色婷婷777狠狠| 免费无码毛片一区二区A片| 色吧五月婷婷| av 一区三区四区| 91色欲综合| 99九九久久| 丁香五月天啪啪激情综合网| 色色色五月婷婷| 先锋影音男人的天堂AV| 九九这里都是精品| 这里精品| 成人必爱视| 9九色首页| 欧美性生交XXXXX无码小说| 播播网色播播| 精品九九视频| 色色五月丁香婷婷| 另类国产欧美视频| 99精彩视频| 五月天婷婷综合| 婷婷激情五月天激情在线| 激情骚五月| 久久久久人妻| XX色综合| 狠狠五月天婷婷| 99色五月| 亚州男人天堂婷婷五月| 色综合色色| 色色日本| 丁香五月深爱五月婷婷| 丁香婷婷网| 国产激情一区| 五月婷婷综合网| WWW.夜夜| 婷婷五月成人系列| 在线看片av| 九九这里只有精品| 七月丁香五月婷婷在线| 一本狠婷婷综合| 久久九九玖玖| 丁香香五月激情免费视频| 丁香六月色情| 婷婷社区五月天| 五月天色婷婷综合| 色九九综合色| 99九九在线视频| 欧美欧盟性爱网| 五月欧美色色五月| 五月六月伦理| 超碰精品在线| 超pen个人视频97| 婷婷94s| 一本久道综合色婷婷五月| 五月婷婷,六月激情| 超碰人人99| 91碰碰| 色婷婷AV在线观看| VA色婷婷| 天天干天天射综合网| 激情丁香五月天| 婷婷五月天综合网| 国外亚洲成AV人片在线观看| 9 1 A v久久久| 色,激情五月天| 婷婷射婷婷舔| 99久久这里只有精品| 婷婷中合| 午夜亚洲国产精品av一区二区| 99色区| 综合网五月天123| 91成人视频| 人人草碰| 色五月婷婷中文字幕在线观看 | 色婷婷4| 五月婷丁香| 亚洲另类在线观看| 国产44页| 丁香五月aV| 激情五月婷| 刘玥av在线| 五月天激情影院| 色99欧洲色19| 狠狠色噜噜狠狠狠狠综合| 久久九九99.www| WWW,色五月| 99热一区| 五月丁香六月停停停| 婷婷基地成人五月天| 天天爽夜夜操| 久久精品国产精品| 色五月综合激情| 日韩成人中文字幕| 另类图片 五月激情| 婷婷久草| 九九综合网色全集 | 五月婷婷丁香六月在线| 超碰在线91| 激情婷婷综合网| 包操45分钟网站| 丁香五月成人婷婷| 亚洲最大视频网站| 激情综合网激情五月欧美| 99久久激情视频| 一级性爱大片| 婷婷五月天成人基地| 丁香五月播播| 丁香婷婷性爱| 丁香色色色| 金品在线视频99| 婷婷激情啪啪| 婷婷五月在线视频| 亚洲午夜AV| 天天做天天爱天天爽综合网| 亚洲色频| 噜噜噜精品欧美成人在线观看| 久久99热这里只频精品6学生| 人人干99| 在线视频99| 麻豆忘忧草午夜| 丁香五月婷婷激情中文| 丁香婷婷五月天成人| av免费人人| 99精品在线观看| 91无码一起草| 2w在线视频| 成人国产欧美大片一区| 婷久看人爽| 丁香五月婷婷色| 视频这里只有精品| 五月丁香天堂网| 午夜色婷婷| 色五月婷婷基地| 丝袜熟女一区二区三区| 九九这里都是精品| 丁香五月婷婷欧美成人色图| 五月婷婷丁香在线| 久久久久久久久久久久久久久久久精典| www.思思99热| 风流少妇A片一区二区蜜桃| 激情五月天之五月婷婷| 国产伦亲子伦亲子视频观看| 狠狠干狠狠干狠狠干狠狠干| 国产亚洲成AV人片在线观黄桃| www.25五月婷婷| 婷婷丁香五月天激情| 色色色综合视频| 免费观看18视频网站| 丁香桃色综合网| www。久久久久一b。Cc| 成人五月天在线视频在线观看| 久久伊人大香蕉| 伊人干练久| 夜夜嗨一区二区三区直播内容| 五月伊人视频在线看| 少妇水多A片太爽了| 五月丁香婷婷久久| 天天肏天天舔AV| 伊人五月天| 99A级片| 色色射| 人人爽人人射-美女久久久久久久久久-成人AV| 亚洲国产99| 人妻操在线看| 欧美啪啪五月天| 五月婷婷色影院| 一逼色综合| 丁香五月天激情视频| 色五月婷婷狠狠撸| 日本44久久在线| 深爱激情丁香| 午夜九九九九九九九九九九九九九| 深爱激情六月天| 思思视频精品| 亚洲三A| 五月天成人在线视频网站| www.91久久| 五月丁香六月婷婷久久| 六月色婷婷欧美| 综合天堂AV久久久久久久| 五月激情小说网| 婷婷综合精品| 九九热在线视频| 婷婷五月天欧美图片在线播放电驴| 99欧美三级视频| 九九热欧美| 色情免费视频播放| 久久久久8888| 婷婷激情四射| 99热这里是精品| 色综合色综合婷婷热| 亚洲AV成人无码精品| 色五月婷婷影院| 96人人操人人操人人| 99视频在线看| 开心五月婷婷激情| 婷婷丁香激情综合色情| 日本三级日本三级三级人妇四虎| 五月丁香六月婷| 五月婷婷六月激情| 五月婷婷六月丁香激情综合网| 成人无码中文| 99操碰| 国产婷婷五月色情综合| 婷婷丁香五月天哟啪| 久久久潮喷-久久久九九-成人AV| 91久热| 就爱操www com| 婷婷五月大香蕉| 强壮的公次次弄得我高潮A片日本 | 五月婷婷丁香综合| 久九色| 五月伊人91| 九九热精品视频| 五月天开心激情综合网| 亚洲视频色色| 99久在线视频| 九九99久久精品| 91成人看片| 99热12| 怡红院院在线导航网| 六月激情网| 丁香五月偷拍| 天天爱天天做天天操| 欧洲日韩一区二区三区| 综合婷婷久久| 久久久久久久久久久久久久久久久精典| 五月婷亚洲精品AV天堂| 亚洲欧美另类在线23p| 99热国产这里只有| 成人丁香色| 色色色丁香| 丁香六月婷婷综合| 伊人激情综合网| 26uuu成人网| 五月婷婷深爱六月| 91超碰九色| 色婷婷色和| 9色婷婷| 精品一二三区久久AAA片| 色五月婷婷在线| 丁香五月综合在线观看| 日韩a热| 综合狠狠伊人| 综合久久高清| 亚洲不卡123| 国产亚洲精品久久久久久郑州| 第四色五月天| 久久五月天激情视频| 秋霞性爱AV| 久久婷婷色情7777网站| 婷婷狠狠爱| 色欧美一级| 激情综合久久| 99精品在线| 欧美色图天堂网| 天天爱天天秀天天做| 色婷婷五月天激情综合| 九九综合| 97人人操人人干| 亚洲综合1024| 狼人婷婷久久| 欧美成人日韩| 97碰在线免费观看| 麻豆精品| 久久婷婷五月综合一| 久久婷婷艹| 精品香蕉99久久久久网站| 成人做爰A片免费看视频| 亚洲色五月| 91狠狠综合久久久| 婷婷六月综合基地| 婷婷五月综激情| 久久婷婷欧美| 天天做天天视天天谢| 久久五月婷| 色亚洲无码| 激情婷婷丁香五月天小说| 色婷婷久久综合| 人人操人人操919999| 五月丁香婷婷色| 丁香五月婷婷深五月| 九九激情网| 六月婷婷激情| 狠狠艹狠狠艹| 午夜性爱影视一区77| 包操45分钟网站| 九九蜜臀精品| 婷婷六月激情啪啪| 婷婷五月激情图片| 亚洲成人AV在线播放| 亚洲乱码w在线观看| 欧美天天搞| 超碰免费人妻| 婷婷激情四射| 欧美狠狠一在草| 五月激情丁香久久综合网| 99 这里只有精品| 五月五丁香婷婷| 久久这里只有精品视频26| 五月丁香婷庭在线| 日韩aaa| 色五月欧美| 97婷婷狠狠| 六月激情网| 色婷婷成人做爰A片免费看网站| 亚洲精品字幕| 1024欧美看片| 精品成人在线观看| 99热99在线| 婷婷5月天av| 99色最新在线视频网站| 色丁香五月| 极品人妻VideOssS人妻| 少妇高潮A片无套内谢麻豆传| 国色天香成人网| 激情婷婷护士激情| 99.N在线视频| 五月丁香大香蕉| 天天擼久久擼在线| 免费亚洲婷婷五月| 99在线视频播放| 欧洲色色| 丁香婷婷婷婷十二月在线观看视频| 久久在线92| 久思思热视频在线观看| 色五月天在线| 91婷婷丁香五月| 婷婷激情图片| 婷婷的五月天另类视频| 九九色之九九色88| 五月婷庭丁香在线| www激情婷婷com| 亚洲综合激情五月久久| 日本波多野结衣视频| 天天射天天干天插色综合| 久久小视频免费| 天天操天天干天天日| 六月婷婷五月丁香| www.九九婷婷| 五月丁香婷婷色色| 亚洲A色| 色五月综合在线| 丁香婷婷六月| 色五月婷婷天天干| 亚洲五月花| av大香蕉| 超碰九热| 玖玖午夜视频| 六月五月久久丁香| 天天天天操| 变态 另类 在线| 亚洲成人av在线播放| 99超在线| 五月婷婷人人人操| a级毛片一区二区免费视频| 婷婷久久综合| 99精品网| 婷婷五月天A V| 热99国产精品| 婷婷五月天播播| 精品国产乱码久久久久夜深人妻| 日韩黄色电影| 丁香五月婷在线| 狠狠操狠狠| 成人短视频免费观看| 亚洲色色色色| 日本婷婷| 九九大香视频| 六月丁香五月亭亭| 亚洲激情五月| 99免费在线视频| 欧美性爱特黄一级aaaassss| 五月婷婷啪啪| 伊人网啪啪| 久久精品永久免费| 俺也去色| 99在线观看亚洲| 这里有精品| 伊人九九九久| 另类婷婷丁香| 久99热| 97人人爱人人操| 丁香五月六月婷婷殴美综合| 精品无码久久久久久久久| 久99热| 五月丁香性| 色色色色色色色五月| 日本天天综合| 99热6这里只有精品| www.婷婷五月天| 五月综合色| 五月婷婷黄色网址| 五月天婷爱综合| 亚洲无码色| 九九国产精视频| 99久久免费精品| 国外亚洲成AV人片在线观看| 色色色色热热| 亚州操人在线视频| 欧美色色色色色| 精品99视频| 伊人色综合久久久| 五月婷婷之婷婷| 五月婷婷综合激情小说| 亚洲综合色网站| 五月婷婷中文字幕| 97人妻碰碰中文无码久热丝袜| 性生活视频98791| 丁香五月婷婷高清| 99精品亚洲| 午夜福利8055| 色五月在线观看| 九九久久污| 五月丁香婷爱在线| 日本在线播放97| 亚洲五月天婷婷在线| 久久受www免费人成| 天天情色综合网| 日韩99无码| 婷婷五月天伊人网在线观看视频| 九九色情网站| AV大香蕉| 中文中文在线| 激情二色月| 青青久在线视频免费观看| 婷婷一本和五月丁香| 欧洲电影在线观看免费版英语版 | 久久久噜噜噜久久人妻| 成人综合AV| 91超级碰| 日韩999| 99久久久久| 六月欧美综合色情| 97夫妻超碰| 婷婷五月天首页| 久久99免费视频网站| 99热无码| 九九色色色| 亚洲九九夜夜| 大香蕉久久| 久9热| 五月婷婷和六月| 丁香,开心成人,久久| 亚洲色婷婷视频| 久9热视频| 久久女人天堂| 另类五月婷婷| 久久黄色片| 丁香六月婷婷综合缴| 99热这里都是精品| 91一起操| 99爱精品视频| 久久99精品日本| 久久婷婷五月综合激情国产| 天天舔天天插天天爱| 国产肥白大熟妇BBBB视频| 精品无码99| 9热在线视频精品| 五月婷婷色| 激情五月天之六月婷婷| 免费超碰在线| 五月婷婷色五月| 九九精品视频在线观看| 高清成人综合| 亚洲精品久久久无码| 欧美五月丁香| 日本一级一级一级一级| A短视频免费在线观看| 开心激情五月天网| 另类激情五月| 狠狠精品干练久久久无码中文字幕| 亚洲人妻五月丁香婷婷| 亚洲AV无码成人精品区电影网| 五月婷婷黄色| 丁香久久五月天视频在线观看| 综合九九久久| 九九热超碰| 停停五月丁香| 色五月婷婷中文字幕在线观看 | 日韩AV免费看| 国产精品成人AV在线| 成人精品一区二区三区四区五区 | 久久婷婷午夜| 久热黄色| 婷婷激情区| 狠狠色大香蕉| 久久久天堂国产精品女人| 182TV大香蕉| 开心五月激情五月丁香五月婷婷| 婷婷色九月| 色婷婷综合久久| 亚洲AV综合在线观看| 亚洲综合色丁香五月天| 九色91美女| 99精彩视频在线观看| 天天做天天爱| 99综合网| 色五月婷婷婷婷| 亚洲色久| 色99无码| 荫道BBWBBB高潮潮喷| 色综合九九| 狠狠激情五月天| 天天激情视频| 91九色精品女同系列| 婷婷五月丁香国产| 色香蕉影院| 97色女人在线| 都市激情小说婷婷| 激情五月天黄色小说| 97成人超碰免| 婷婷色情 | 99热精品无码| 婷婷五月天综合在线| 操逼福利视频| 大香蕉久久久| 色色婷婷婷丁香五月天| 538在线精品| 日本色色色| 激情综合99| 99视频精品在线| 天天综合永久| 久久综合网免费视频| 色五月天激情| 亚洲一区国产传媒| 婷婷99丁香| 五月综合激情图片| 日欧一片内射VA在线影院| 久久婷婷五月| 熟女重口味αV| 久久婷婷亚洲| 91玖玖| 久久网婷婷| av免费在线观看0| 青青久久五月| 欧美顶级少妇做爰HD| 婷婷丁香在线| 婷婷午夜| 91人人操.COM| 91人人网| 97性视频| 综合色影院| 婷婷五月天情色| 噜噜久| 婷婷五月图片小说视频| aaa日韩| 天天操天天操天天操| 开心五月激情| 深爱五月激情网| 91色在线/日韩| 色九月婷婷综合| 在线99热| 99ri在线视频| 91狠狠色| 99热情这里只有精品在线播放| 亚洲精品亚洲人成人网| 亚洲超碰在线| 狠狠香蕉| 欧美情月伍月天| 午夜理论片最新午夜理论剧| 丁香五月欧美成人| 丁香婷婷色色| 婷婷综合网站| 狠狠操之狠狠操| 情婷婷五月天在线| 激情五月综合六月丁香婷婷狠狠干| 亚洲 小说 欧美 激情 另类| www。五月天激情| 激情久久久| 精a品a视a频| 婷婷丁五月| 天天操天天爱天天日| 丁香丁香激情网| 亚洲五月天第一综合干| 天天摸天天舔天天爽| 丁香五月天色综合| ji'qing'luan'ren'lun| 狠狠色丁香婷婷基地| 五月天婷婷久久综合| 婷婷五月AV| 婷婷丁香五月亚洲| 婷婷金品综合视频| 五月天激情国产综合婷婷婷| 天堂中文国产| 丁香婷婷基地| 99操| 天天干天天插| 99性爱| AA片在线观看视频在线播放| 91色性感五月婷婷丁香| 久色大香蕉| 综合激情在线视频| 久久黄A片| 色之综合网| 色婷婷综合五月| 婷婷久久亚洲| 五月丁香成人| 激情综合色| 在线不卡AC| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 久久久婷婷色五月资源网| 久草性爱| 婷婷五月天 偷拍| 色婷婷色五月丁香| 五月婷婷激情综合网 | 九月丁香婷婷综合激情| 色婷婷在线综合色播网| 丁香六月毛片| 婷婷丁香人妻天天爽| 免费AV播放| 亚洲V国产V欧美V久久久久久| 丁香97综合| 97碰| 大香久久伊人网| 超碰二区| 婷婷五月丁香六月伊人网| 久久 这里只有精品1| 久久怡红院| 丁香色五月 97干| 久久小视频| 青青草五月天| 欧美噜噜免费观看| 午夜电影网VA内射| 五月丁香六月婷婷成人电影| 少妇综合网| 久久婷婷原创视频| 国产激情AV| 岛国av电影网站| 欧美日韩成人一区二区| 久草婷婷| 黄色aa观看aaguochan| 五月伊人网| 狠狠肏综合网| 91免费看片| 成人综合网站| AV在线收看| 亚洲五月六丁香激情| 日本色色色| 丁香六月婷婷色XXXXX| 日韩成人中文字幕| 九久九精品| 99热在线观看精品| 丁香六月天婷婷开心综合| 久久色五月| 国产午夜精品一区二区三区四区| 婷婷久久五月天丁香| 操丝袜视频影院导航| 五月天色区| 粉嫩AV久久一区二区三区| 色综合av超碰| 亚洲小说五月婷婷| 99热1| 69精品人人人人| 色婷婷9| 久久婷婷六月综合| 日韩精品AV一区二区三区| 久久99综合网| 日日插日日干| 色玖玖| 狼人婷婷综合| 色婷婷丁香香香蕉视频| 五月丁香六月激情欧美综合| 97婷婷丁香五月天激情图片| 99热这里只有精品2016| www.婷婷.com| 99久久亚洲国产| 婷久看人爽| 五月婷婷激情| 超碰99热在线观看| 五月天激情日色在线| 日本99久久| 91丨九色丨高潮丰满日本| 婷婷五月天欧美图片在线播放电驴| 97热这里只有精品| www.99热精品| 五月丁香六月合| 日韩婷婷| 五月天色色网站| 可以直接看的av| 日本黄 色 片| 99热永久在线观看| 色色色色五月天| 久久码久久无清| 毛片新网地| 久久er99热精品一区二区| 丁香婷婷六月激情文学| 美女天天爽| 久久婷婷老| 视频这里只有精品16| 色欲色香综合网| 伊人久久大香网| 夜夜躁婷婷AV| 精品国产a| 情涩婷婷五月天| 国产精品久久久久久久久久久久| 五夜婷婷| 67194成I人在线观看线路1| 亚洲精品网址| 色播五月婷婷| 九月性爱网| 婷婷性爱无码视频| 国产精产国品一二三在观看| 久/久精品99看9| av大香蕉| 九月婷婷久久| 激情久久肏屄视频| 99视频35精品视频在线观看| 久婷婷色| 丁香婷婷色色| 五月天激情四射网站| 第1影院之五月婷婷| 激情五月天综合| 九 九九九AV| 婷婷色五月天在线观看| 丁香五月天成人| 这里只有精品在线免费视频| 久久久婷| 91精品熟女| 五月婷婷六月天| 美女婷婷六月色| 五月天伊人| 婷婷五月丁香激情色情| 丁香狠狠干| 人人爽欧美婷婷久久久五月丁香| 婷婷五月丁香99| 六月丁香婷婷六月激情综合| WWW久久99久久99久久| xx人人xx| 亚洲黄3级片网站欧美| 狠狠操狠狠操| 超碰人人99| 六月婷婷五月丁香| 8区视频在线| 丁香婷婷激情| 美女天天艹人人爽| 大伊香蕉精品视频在线| 激情综合色婷婷啪啪六月天| 国内熟女黄色系列| 五月丁香综合激情网| 综合激情五月婷婷| 久久激情网| 色五月涩涩婷婷蜜桃| 色五月av| 久久这里99| 色播激情| 综合激情在线| a网站免费观看| 欧美日本免费一道免费视频 | 亚洲亚洲人成综合网络| 六月婷婷狠狠做| 青青草99re| 在线另类视频| www五月| 狠狠色婷婷7| 日本欧美成人片AAAA| 六月丁香社区| 爆乳熟女一区二区三区爆乳| 99色免费观看全部| 国产xxxxx在线观看| 无码少妇高潮喷水A片免费| 五月丁香六月婷婷国产视频| 久9热在线视频| 丁香六月激情| 欧美韩日AAA网站| 天天做天天爱天天高潮| 日夜夜久久| 久久激情视频99| 婷婷五月天丁香综合网| 日本熟妇精品99| 狠狠狠狠草草| 亚洲精品视频在线播放| 婷婷丁香激情| 色五月婷婷色| 婷婷色色色| 丁香五月天综合| 婷婷激情视频欧美视频自拍视频欧美剧| 五月天无码| wwww.色婷婷| 91精品久久久久久综合五月天| 亚州色色色| 天天色天天爽| 五月丁香A∨在线| 开心五月天激情网| 丁香五月天AV| va中文资源在线观看| 色婷婷情片| 婷婷狠狠干| 久久精品人妻| 婷婷丁香五月天激情| 色综合色综合色综合高潮| 五月丁香综合成人社区| ..真实国产乱子伦对白在线_欧 | 婷婷五月天综合亚洲| 激情五月丁香五月| 五月天伊人| 久久黄A片| 99色日本| 亚洲AV无码成人电影| 五月综合色| www.99热视频| 桃色五月婷婷| 亚洲成人影视在线| 婷婷综合五月天| 婷婷久久综合久| 9热成人在线视频| 激情五月综合亚洲另类| 五月丁香在线国产 | 五月丁香色婷婷基地| 在线另类| 99九精品| 久久婷综| 天天射影院| 婷婷五月天久久久| 这里只有精彩视频| 欧美色欲色欲天天天www| 激情综合自拍五月婷婷色五月| 激情啪啪五月| 五月婷色丁香| 97色五月婷婷在线| 开心五月激情网| 91丨九色丨熟女|新版| 天天综合中文| 五月天伊人综合| 六月婷婷影院| 欧美婷婷六月丁香综合色| 秋霞丝袜啪啪啪| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 国产精品电影| 天天插天天日| 五月综合色播播丁香婷婷| 精品国产va久| 色婷婷电影| 婷婷月综合| 丁香五月婷婷影院| 久久AAAA片一区二区| 亚洲1区| 婷婷五月天精品| 综合色天天| 久久久久久久丁香五月天婷婷| 99热99在线精品| 999精品久久久久久久|