欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

CUDA到昇騰遷移真相:大模型適配不止改一行代碼

CUDA到昇騰遷移真相:大模型適配不止改一行代碼 “昇騰不是兼容CUDA嗎改一行代碼就能跑吧”這句話我最近一年聽(tīng)了不下十遍。問(wèn)的人有做Alpha的同事有開(kāi)源項(xiàng)目的維護(hù)者也有剛上手大模型的應(yīng)屆生。我第一次聽(tīng)到時(shí)還認(rèn)真回應(yīng)幾句后來(lái)發(fā)現(xiàn)很多人是被“適配層”三個(gè)字忽悠了——框架側(cè)確實(shí)做了不少API映射但那和你把七B、幾十B參數(shù)的大模型從CUDA生態(tài)完整遷到昇騰生態(tài)是兩回事。真要?jiǎng)悠鹗謥?lái)哪止一行。這篇文章不打算勸退誰(shuí)也不是來(lái)唱“國(guó)產(chǎn)化遷移很難”的高調(diào)。我會(huì)把從CUDA切到昇騰這件事拆開(kāi)講清楚哪些地方看起來(lái)只用改一行哪些地方實(shí)際上會(huì)改到你懷疑人生再結(jié)合我自己參與過(guò)的遷移排查過(guò)程給出一套可復(fù)用的操作順序和判斷標(biāo)準(zhǔn)。內(nèi)容按底層生態(tài)差異、代碼層改動(dòng)、真實(shí)排查鏈路、工具鏈套路、性能調(diào)優(yōu)抓手、快切與重寫的邊界六個(gè)部分來(lái)講適合正在做昇騰適配或準(zhǔn)備接過(guò)這類活的工程師參考。1. “改一行代碼”的傳說(shuō)到底是怎么傳起來(lái)的這個(gè)說(shuō)法不是完全空穴來(lái)風(fēng)但它的成立條件非常苛刻。要理解它為什么流傳開(kāi)得先知道CUDA和昇騰這兩套東西在底層長(zhǎng)什么樣以及框架適配層究竟做了什么。1.1 CUDA與昇騰兩套完全不同的“思考方式”CUDA生態(tài)的核心是一套“統(tǒng)一計(jì)算”的思維。無(wú)論GPU里有多少個(gè)SM流式多處理器開(kāi)發(fā)者寫kernel時(shí)面對(duì)的都是線程層次、共享內(nèi)存、全局內(nèi)存這些抽象概念。加上cuBLAS、cuDNN、NCCL這些庫(kù)上層框架基本被伺候得服服帖帖PyTorch里一個(gè)matmul調(diào)用在GPU上會(huì)落到庫(kù)函數(shù)而不是裸kernel。昇騰這邊是完全另一套架構(gòu)。它的算力核心分為Cube單元負(fù)責(zé)矩陣計(jì)算、Vector單元負(fù)責(zé)向量計(jì)算、Scalar單元和AI CPU開(kāi)發(fā)者寫算子的方式也更接近“異構(gòu)計(jì)算”的思路。上層是CANN工具鏈再往上是圖編譯器GE它會(huì)嘗試把整個(gè)模型編譯成一張圖再執(zhí)行。這張圖的編譯、算子調(diào)度、內(nèi)存規(guī)劃和CUDA那種逐算子調(diào)度的方式有本質(zhì)差異。所以“CUDA代碼不行、昇騰代碼行”這句話在api層面看是成立的在體系層面看完全不是那么回事。CUDA是“人人可寫kernel”的通用平臺(tái)昇騰更強(qiáng)調(diào)“算子先適配到工具鏈里然后靠圖編譯優(yōu)化”。一個(gè)是自己動(dòng)手豐衣足食一個(gè)是等著大廚把菜配好再下鍋。1.2 兼容層不是在翻譯API而是在掩蓋生態(tài)鴻溝現(xiàn)在PyTorch要跑昇騰主要靠類似torch_npu這樣的適配插件。它做的事情是在框架層攔截發(fā)往cuda設(shè)備的算子調(diào)用轉(zhuǎn)成昇騰算子或CANN圖節(jié)點(diǎn)。從使用者視角來(lái)看確實(shí)能做到“把cuda:0改成npu:0然后import torch_npu”。問(wèn)題是適配層覆蓋的是“已經(jīng)落入適配清單”的算子。而真實(shí)大模型里充斥著大量邊緣玩法比如手寫的FlashAttention融合kernel、稀疏注意力、MoE專家路由里暗藏的通信邏輯、各種奇怪的mask實(shí)現(xiàn)。這些一旦沒(méi)有昇騰側(cè)的對(duì)應(yīng)實(shí)現(xiàn)運(yùn)行時(shí)會(huì)走CPU回退或者直接報(bào)算子不支持。你表面上改了一行實(shí)際上已經(jīng)給自己挖了一個(gè)“后面二三十行替代實(shí)現(xiàn)”的坑。所以“改一行”這個(gè)說(shuō)法只對(duì)“算子庫(kù)覆蓋完整、結(jié)構(gòu)規(guī)整、不追求極限性能”的實(shí)驗(yàn)性代碼成立。生產(chǎn)級(jí)大模型尤其涉及分布式訓(xùn)練時(shí)它就是個(gè)開(kāi)場(chǎng)白級(jí)別的玩笑。2. 從工程上拆解大模型遷移到底在改哪幾層代碼我們直接以PyTorch訓(xùn)練的Dense結(jié)構(gòu)大模型為例說(shuō)說(shuō)從CUDA切到昇騰后代碼和配置層面真正會(huì)動(dòng)的幾個(gè)地方。2.1 單卡推理看似只有幾行實(shí)際動(dòng)了十幾處單卡推理確實(shí)是遷移里最輕的部分但也沒(méi)有輕到“一行”環(huán)境側(cè)要裝匹配CANN版本的驅(qū)動(dòng)、固件、torch_npu還要注意Python和PyTorch版本跟昇騰側(cè)的適配列表對(duì)齊。這一步卡住的人非常多很多時(shí)候不是代碼問(wèn)題而是版本組合根本不在支持矩陣?yán)?。設(shè)備指定把cuda:0改成npu:0并在入口import torch_npu。到這里確實(shí)只要一兩行。算子核對(duì)用工具或手寫腳本過(guò)一遍模型里的算子確認(rèn)哪些能落到昇騰算子哪些走了CPU回退。走CPU回退的算子會(huì)讓時(shí)延暴漲這不是“能跑就行”的問(wèn)題。dtype策略GPU上常見(jiàn)的AMP自動(dòng)混合精度在昇騰上需要額外確認(rèn)哪些融合算子支持fp16哪些只能在fp32下算。原本在GPU上跑得好好的model.half()到昇騰上可能因?yàn)槟硞€(gè)算子不支持低精度而靜默回退。# GPU版本 import torch model model.to(cuda:0) optimizer torch.optim.AdamW(model.parameters()) # 昇騰版本前兩行看起來(lái)確實(shí)像只改了一行 import torch import torch_npu model model.to(npu:0) optimizer torch.optim.AdamW(model.parameters())但跑到第二步你就會(huì)發(fā)現(xiàn)模型前向里如果有自定義CUDA擴(kuò)展這段就掛了如果沒(méi)有你還要再過(guò)一遍所有算子的性能白名單確認(rèn)沒(méi)有因?yàn)榫葐?wèn)題產(chǎn)生詭異的NaN。2.2 分布式訓(xùn)練NCCL改HCCL只是開(kāi)始單卡遷移的“輕松”會(huì)在你拉起多卡的那一刻全面終結(jié)。GPU生態(tài)多卡通信靠NCCL昇騰生態(tài)靠HCCL代碼上就是通信后端換了個(gè)字符串# GPU dist.init_process_group(backendnccl) # 昇騰 dist.init_process_group(backendhccl)但這只是儀式。真正的差異在通信調(diào)度、拓?fù)涓兄统瑫r(shí)策略上。NCCL經(jīng)過(guò)多年迭代環(huán)形和樹形算法的切換閾值、桶大小、多流通信都已經(jīng)調(diào)得非常扁平化HCCL這邊則更依賴你對(duì)物理拓?fù)涞牧私狻男┛ㄔ谕粡埼锢砜ㄉ?、哪些卡跨整機(jī)、網(wǎng)卡綁定在哪個(gè)NUMA節(jié)點(diǎn)上都會(huì)直接決定allreduce吞吐。我第一次做多卡遷移時(shí)模型在GPU上四卡跑得好好的到昇騰上四卡一拉起來(lái)就卡死在梯度同步。后來(lái)看時(shí)間線才發(fā)現(xiàn)不是代碼問(wèn)題是HCCL初始化后拿到的rank間P2P鏈路不健康需要顯式調(diào)整通信算法策略或者把某個(gè)環(huán)境變量按設(shè)備拓?fù)湓O(shè)值。這類問(wèn)題不會(huì)在“改一行代碼”的討論里出現(xiàn)但會(huì)讓你的遷移排期從半天變成兩周。2.3 精度與數(shù)值策略是你最容易忽略的隱性改動(dòng)大模型遷移最容易翻車的不是性能而是數(shù)值行為變化。同樣一套權(quán)重GPU上fp16推理和昇騰上fp16推理logits分布可能就是會(huì)有細(xì)微差異。這個(gè)差異來(lái)自幾點(diǎn)算子內(nèi)部累加順序不同浮點(diǎn)加法不滿足結(jié)合律哪怕單個(gè)算子精度都對(duì)整體結(jié)果也會(huì)有漂移。融合策略不同。昇騰圖編譯器會(huì)把一些算子融合成一個(gè)大算子中間結(jié)果可能在fp16下保留而GPU側(cè)融合少、中間結(jié)果走fp32。對(duì)整個(gè)模型來(lái)說(shuō)這就是“隱性誤差放大器”。loss scaling策略。訓(xùn)練時(shí)AMP的梯度縮放系數(shù)在兩邊觸發(fā)回退的節(jié)奏不同可能導(dǎo)致某些step出現(xiàn)溢出或收斂不穩(wěn)。所以遷移時(shí)一定要把“數(shù)值對(duì)齊”當(dāng)成一等公民而不是事后補(bǔ)救。建議準(zhǔn)備一組固定的輸入抓取模型中每一層輸出和最終loss做逐張量的對(duì)比。這部分后面第四、第五段還會(huì)展開(kāi)講。3. 一次真實(shí)遷移案例從跑通到跑穩(wěn)的完整排查過(guò)程這是我在某內(nèi)部項(xiàng)目里經(jīng)歷的一段遷移過(guò)程。模型是一個(gè)三十B左右的Dense客服大模型原先在GPU上做訓(xùn)練和在線推理目標(biāo)是整體搬到昇騰集群。為便于表述我把里面涉及業(yè)務(wù)細(xì)節(jié)的部分統(tǒng)統(tǒng)隱去只講技術(shù)排查路徑。這條路走下來(lái)完整覆蓋了性能、分布式、精度三類坑。3.1 第一程跑通demo只用了半小時(shí)性能一測(cè)就崩接到任務(wù)時(shí)團(tuán)隊(duì)的預(yù)期是“兩天遷移一周驗(yàn)收”。我們按標(biāo)準(zhǔn)流程先搭環(huán)境裝好CANN和適配插件把單卡推理demo跑了起來(lái)——確實(shí)很快改設(shè)備名、加載權(quán)重、跑一遍前向輸出形狀對(duì)得上。但緊接著做性能基線測(cè)試時(shí)問(wèn)題就來(lái)了。同樣一個(gè)batch、同樣的序列長(zhǎng)度昇騰單卡的時(shí)延比原GPU環(huán)境高出一大截而且顯存占用也偏高。我們把profiling的timeline拉出來(lái)一看發(fā)現(xiàn)有相當(dāng)一部分時(shí)間花在kernel launch和算子調(diào)度上還有幾個(gè)關(guān)鍵算子根本沒(méi)有昇騰實(shí)現(xiàn)直接走了CPU回退。這個(gè)階段最大的教訓(xùn)是“跑通”只驗(yàn)證了API兼容完全沒(méi)有驗(yàn)證性能兼容。如果你只關(guān)心能不能出結(jié)果那確實(shí)可能“一行夠了”如果你關(guān)心生產(chǎn)環(huán)境的時(shí)延和吞吐那么從這一刻起才進(jìn)入真正的遷移。3.2 第二程性能瓶頸不在單算子而在算子調(diào)度和顯存策略拿到profiling數(shù)據(jù)后我們做的第一件事是把耗時(shí)Top的算子列了一張表逐個(gè)確認(rèn)昇騰側(cè)是否有融合實(shí)現(xiàn)。其中最大的問(wèn)題是模型里有一段自研FlashAttention的CUDA擴(kuò)展GPU上跑得飛快昇騰側(cè)沒(méi)有直接對(duì)應(yīng)的kernel導(dǎo)致整段注意力邏輯退化成逐算子執(zhí)行數(shù)據(jù)在Cube單元和Vector單元之間來(lái)回搬運(yùn)性能慘不忍睹。解決方式是把自研注意力替換成昇騰工具鏈里已有的融合注意力實(shí)現(xiàn)同時(shí)把模型里其他不支持的低效算子改成官方推薦寫法。這一輪改完單算子耗時(shí)降下來(lái)了但整體時(shí)延還是不理想。繼續(xù)看timeline發(fā)現(xiàn)問(wèn)題出在動(dòng)態(tài)shape模型輸入長(zhǎng)度不固定每次遇到新的序列長(zhǎng)度圖編譯器都會(huì)觸發(fā)一次重新編譯這部分開(kāi)銷被平攤到每次請(qǐng)求里。后來(lái)我們固定了max_seq_len并把KV cache按最大長(zhǎng)度預(yù)分配避免運(yùn)行時(shí)反復(fù)重新構(gòu)圖時(shí)延才真正降下來(lái)。這個(gè)動(dòng)作本身不難但如果你不知道昇騰的圖編譯機(jī)制很難想到性能問(wèn)題會(huì)出在“shape變化”這種看似無(wú)關(guān)的地方。3.3 第三程多卡通信變成新瓶頸不是改個(gè)后端就完事單卡性能達(dá)標(biāo)后我們把訓(xùn)練從單卡擴(kuò)展到四卡馬上就撞上了通信問(wèn)題?,F(xiàn)象是訓(xùn)練啟動(dòng)后前幾步正常到某個(gè)step開(kāi)始卡住等很久才走完一次迭代。排查方式分了三步走先確認(rèn)不是業(yè)務(wù)代碼問(wèn)題。把模型換成兩個(gè)卷積層的小網(wǎng)絡(luò)做多卡通信測(cè)試發(fā)現(xiàn)依然卡頓問(wèn)題范圍收斂到了通信庫(kù)。接著檢查設(shè)備間P2P和物理拓?fù)浒l(fā)現(xiàn)當(dāng)前環(huán)境里四張卡分布在兩組NUMA節(jié)點(diǎn)上默認(rèn)的通信策略沒(méi)有按拓?fù)涓兄獊?lái)調(diào)度導(dǎo)致跨域訪問(wèn)的代價(jià)被嚴(yán)重低估。最后調(diào)整了通信線程綁定方式和桶大小allreduce的等待時(shí)間明顯下降。這個(gè)環(huán)節(jié)里最有價(jià)值的經(jīng)驗(yàn)是遷移分布式訓(xùn)練時(shí)永遠(yuǎn)先做通信裸測(cè)再上完整模型。用小網(wǎng)絡(luò)把NCCL到HCCL的差異摸清楚比直接跑大模型排錯(cuò)高效得多。3.4 第四程精度對(duì)齊其實(shí)是“對(duì)齊計(jì)算習(xí)慣”性能和通信都搞定后我們開(kāi)始做訓(xùn)練收斂性驗(yàn)證。在同一份數(shù)據(jù)、同一份權(quán)重、同樣超參下昇騰這邊跑出來(lái)的評(píng)測(cè)分?jǐn)?shù)比GPU原始結(jié)果低了一截。第一反應(yīng)是懷疑某些算子計(jì)算有誤。逐層抓tensor做對(duì)比后發(fā)現(xiàn)單算子的數(shù)值誤差都在合理范圍內(nèi)但累積起來(lái)出現(xiàn)了明顯的偏差尤其在fp16計(jì)算的LayerNorm和softmax附近。原因是GPU上這兩個(gè)算子內(nèi)部會(huì)把部分中間計(jì)算提升到fp32而昇騰的融合版本在低精度下保留了更多中間結(jié)果。解決起來(lái)倒也直接把這些關(guān)鍵精度敏感的算子單獨(dú)配置成fp32計(jì)算關(guān)閉部分激進(jìn)融合再在優(yōu)化器側(cè)調(diào)整loss scaling策略最終評(píng)測(cè)分?jǐn)?shù)恢復(fù)到了原GPU版本的合理波動(dòng)區(qū)間。這件事給我最大的沖擊是精度對(duì)齊不是“對(duì)或錯(cuò)”的問(wèn)題而是“計(jì)算習(xí)慣”的對(duì)齊。兩邊誰(shuí)都沒(méi)算錯(cuò)只是中間過(guò)程不同但大模型對(duì)數(shù)值漂移的敏感性會(huì)把這種差異放大到肉眼可見(jiàn)。4. 昇騰工具鏈里那些幫你少走彎路的實(shí)用套路遷移不是全靠手摸。CANN這套東西雖然上手曲線不低但一旦用熟很多排查工作是可以工具化的。4.1 算子映射和遷移輔助工具能抹平多少工作量昇騰側(cè)提供了一些代碼遷移輔助工具能掃描工程里的CUDA相關(guān)調(diào)用給出替換建議。這類工具對(duì)常規(guī)PyTorch代碼的覆蓋度不錯(cuò)能幫你快速定位哪些cuda調(diào)用需要改哪些算子可能沒(méi)有昇騰實(shí)現(xiàn)。但要注意它本質(zhì)上是個(gè)“靜態(tài)分析器”管不了運(yùn)行時(shí)行為。自定義kernel、通過(guò)torch.utils.cpp_extension加載的擴(kuò)展、通信協(xié)議層面的寫法它都發(fā)現(xiàn)不了。所以正確用法是用工具掃一遍拿到一個(gè)粗粒度的改動(dòng)清單再結(jié)合算子適配列表做二次核對(duì)。我自己的習(xí)慣是寫一個(gè)遍歷模型的小腳本把模型里所有算子的類型、參數(shù)、shape都打印出來(lái)跟昇騰算子清單做個(gè)差集。這種方式雖然土但能在第一時(shí)間暴露“某個(gè)算子沒(méi)有映射”的隱患。4.2 profiling工具要配合業(yè)務(wù)場(chǎng)景一起看昇騰生態(tài)的性能分析工具能輸出非常細(xì)的kernel時(shí)間線包括每個(gè)算子在Cube、Vector單元上的耗時(shí)以及數(shù)據(jù)搬運(yùn)、算子調(diào)度、通信等待等各類事件。這里有個(gè)經(jīng)驗(yàn)不要一上來(lái)就盯著最慢的算子看。先看整條時(shí)間線的“缺口”比如GPU利用率區(qū)間里為什么有一段空白數(shù)據(jù)搬運(yùn)占了多大比例算子launch之間有沒(méi)有明顯排隊(duì)。很多時(shí)候瓶頸不在算子本身而在調(diào)度和搬運(yùn)。調(diào)優(yōu)工具方面昇騰有自動(dòng)調(diào)優(yōu)的能力可以嘗試自動(dòng)做算子融合和調(diào)度策略選擇。我會(huì)拿它當(dāng)一個(gè)“啟發(fā)式建議器”跑完看它給出的優(yōu)化方案再手動(dòng)決定是否采納。原因很簡(jiǎn)單自動(dòng)融合有時(shí)候會(huì)改變數(shù)值行為在大模型場(chǎng)景下必須做精度回歸才能放心。4.3 快速驗(yàn)證環(huán)境與回歸策略是遷移的隱形護(hù)城河遷移最怕的就是“改了一處不知道哪里壞了”。所以我在項(xiàng)目一開(kāi)始就會(huì)搭一套雙跑回歸流程保留GPU版本環(huán)境昇騰環(huán)境另起一套。準(zhǔn)備一組固定的輸入數(shù)據(jù)包括前向logits、梯度norm、loss曲線采樣點(diǎn)作為golden輸出。每完成一次算子替換或配置調(diào)整都在兩套環(huán)境上跑這組數(shù)據(jù)對(duì)比數(shù)值差異。這個(gè)流程看起來(lái)笨重但能救命。有一次我在昇騰環(huán)境上改完一個(gè)融合算子配置單看loss曲線完全正常結(jié)果golden對(duì)比發(fā)現(xiàn)某些層輸出已經(jīng)偏移了。沒(méi)有這套基線后面訓(xùn)練可能白跑一個(gè)星期才發(fā)現(xiàn)問(wèn)題。5. 性能調(diào)優(yōu)的幾個(gè)關(guān)鍵抓手與實(shí)測(cè)注意點(diǎn)遷移跑通之后真正的分水嶺是性能能不能打到可用水平。昇騰調(diào)優(yōu)和CUDA調(diào)優(yōu)有相似之處但也有它自己的脾氣。5.1 數(shù)據(jù)搬運(yùn)和算子融合遠(yuǎn)比你想的更重要在CUDA生態(tài)待久了很多人對(duì)H2D/D2H的搬運(yùn)開(kāi)銷已經(jīng)麻木了因?yàn)榻y(tǒng)一內(nèi)存和異步拷貝幫你掩蓋了很多問(wèn)題。昇騰這邊對(duì)數(shù)據(jù)搬運(yùn)的敏感度更高尤其是頻繁的小張量分配和釋放會(huì)直接反映在時(shí)間線上。實(shí)操建議是輸入數(shù)據(jù)盡量一次性拷貝到設(shè)備端避免每個(gè)step反復(fù)搬運(yùn)緩存一些常駐的中間張量KV cache這種反復(fù)使用的結(jié)構(gòu)按最大長(zhǎng)度預(yù)分配。Graph模式下的內(nèi)存規(guī)劃通常比eager模式高效能開(kāi)盡量開(kāi)。算子融合則是另一個(gè)大頭。昇騰圖編譯器本身就有一輪融合優(yōu)化但你的模型代碼寫法會(huì)影響它能融到什么程度。比如把連續(xù)的幾個(gè)elementwise操作合并到一個(gè)lambda里或者把LayerNorm后面的殘差加法包進(jìn)同一個(gè)自定義算子通常都能減少一次多余的kernel launch。融合的前提是你對(duì)精度變化有預(yù)期并且愿意在回歸測(cè)試上花時(shí)間。5.2 單機(jī)多卡通信的拓?fù)涿舾行耘c超時(shí)配置前面案例里已經(jīng)提過(guò)昇騰多卡通信對(duì)物理拓?fù)涞拿舾卸让黠@高于我此前在GPU環(huán)境的經(jīng)驗(yàn)。實(shí)操中要注意這幾點(diǎn)進(jìn)程綁定盡量與設(shè)備的NUMA節(jié)點(diǎn)一致避免跨域通信。通信初始化超時(shí)不要沿用GPU環(huán)境的默認(rèn)值昇騰環(huán)境下P2P鏈路探測(cè)有時(shí)需要更長(zhǎng)的等待時(shí)間。allreduce的桶大小會(huì)影響通信粒度桶太小元數(shù)據(jù)開(kāi)銷大桶太大同步等待時(shí)間變長(zhǎng)。這個(gè)值不是一個(gè)固定真理要按模型尺寸和卡數(shù)多試幾組。我在某次實(shí)踐里把桶大小從默認(rèn)值調(diào)大一倍后多卡訓(xùn)練的step耗時(shí)下降了將近一成。這個(gè)收益比不上算子融合來(lái)得猛但勝在改動(dòng)成本低退回去也方便。5.3 精度與性能的平衡要有一個(gè)“可接受的漂移線”不是所有算子都需要fp32高精度計(jì)算也不是所有融合都要開(kāi)。我的做法是按層分組設(shè)定每組輸出和golden對(duì)比的容差范圍。容差內(nèi)就大膽開(kāi)融合容差外就單獨(dú)關(guān)掉某個(gè)融合項(xiàng)。例如對(duì)于注意力類算子保留融合實(shí)現(xiàn)但設(shè)置內(nèi)部softmax走fp32既保住了性能也穩(wěn)住了數(shù)值。對(duì)于MLP里的激活函數(shù)和殘差加法通常fp16融合問(wèn)題不大。這個(gè)“漂移線”每遷移一個(gè)新模型都要重新標(biāo)定一次不要圖省事沿用舊模型的配置。6. 什么情況下能快切什么情況下必須重寫把遷移的復(fù)雜度說(shuō)清楚之后最后給一個(gè)決策框架避免不同項(xiàng)目一上來(lái)就選錯(cuò)路線。6.1 可以用“快切”路線的幾種情況如果項(xiàng)目滿足下面這些特征遷移改動(dòng)確實(shí)會(huì)非常小模型結(jié)構(gòu)是常規(guī)Dense沒(méi)有手寫CUDA擴(kuò)展。所有算子都能落到昇騰算子清單里沒(méi)有CPU回退。對(duì)時(shí)延不敏感屬于離線批處理場(chǎng)景能接受圖編譯帶來(lái)的首啟開(kāi)銷。對(duì)數(shù)值精度要求是可接受的“近似一致”不要求逐位復(fù)現(xiàn)GPU結(jié)果。推理為主暫不訓(xùn)練或者訓(xùn)練規(guī)模只到單機(jī)八卡以內(nèi)。這類項(xiàng)目按“改幾行代碼算子核對(duì)性能回歸”的流程走快則一兩天慢則一周基本能交付一個(gè)可用版本。我在很多開(kāi)源模型上實(shí)測(cè)這條路是走得通的。6.2 什么情況別再硬遷趕緊安排重寫路徑反過(guò)來(lái)如果出現(xiàn)下面任何一種情況建議直接按重寫或深度適配來(lái)做排期模型使用了特殊注意力機(jī)制比如稀疏注意力、線性注意力、長(zhǎng)序列分段重計(jì)算而不是標(biāo)準(zhǔn)多頭注意力。模型里有自己寫的通信kernel比如MoE里的專家并行路由或者自定義的張量并行切分邏輯。顯存管理有極致要求比如KV cache要?jiǎng)討B(tài)逐層管理或者需要把激活值重計(jì)算邏輯拆得很細(xì)。訓(xùn)練要求高度復(fù)現(xiàn)GPU側(cè)的收斂曲線比如超參搜索階段的實(shí)驗(yàn)對(duì)比。在這些場(chǎng)景里“改一行”的代價(jià)會(huì)在后期被無(wú)限放大你會(huì)不斷遇到“某個(gè)算子沒(méi)有昇騰實(shí)現(xiàn)→找一個(gè)替代實(shí)現(xiàn)→替代實(shí)現(xiàn)數(shù)值和性能都不對(duì)→自己寫TBE/Ascend C算子”的循環(huán)。與其在這種循環(huán)里耗盡時(shí)間不如一開(kāi)始就把關(guān)鍵模塊拆出來(lái)用昇騰的原生編程方式重寫。我自己的判斷標(biāo)準(zhǔn)很簡(jiǎn)單如果遷移到第三周你還在為一個(gè)算子找替代方案那說(shuō)明當(dāng)初應(yīng)該選重寫路線。快切和重寫之間沒(méi)有絕對(duì)的優(yōu)劣只有是否匹配項(xiàng)目本身的復(fù)雜度。最后再分享一個(gè)我個(gè)人比較受用的遷移順序先做單卡推理再做多卡推理再做單卡訓(xùn)練最后碰多卡訓(xùn)練。每完成一步就固化一版回歸基線和性能基線。這個(gè)順序看起來(lái)保守但它能讓你每一步出問(wèn)題時(shí)都把排查范圍縮到最小。大模型從CUDA切到昇騰從來(lái)不是一場(chǎng)“改一行代碼”的浪漫冒險(xiǎn)而是一場(chǎng)需要清單、工具和耐心才能走完的工程遷徙。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99国产精品久久久久久久久久久| 91热在线观看视频| 婷婷五月天日本无码| 国产精品久久久99视频| avv在线| 国产精品18久久久| 久热AA| 97婷婷丁香五月| 五月激香蕉网| 五月天激情国产综合婷婷婷| 中文字幕av久久爽一区| 美国十月色婷婷在线观看| 77799热| 国产精品日日躁夜夜躁| 99人妻碰碰碰久久久久| 97人人操人人拍| 99久久久久| 久久作爱| 97在线精品视频| wwccc久久久| 五月色情婷婷| 欧美精品999| 国产原创视频91九色| 99a级片| 四色AVwww| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 五月久久| 9 9热这里有精品| 午夜精品久久久久久久爽| 亚洲精品99| 91婷婷色 | 五月婷啪| 欧美精品啪啪| 性生活视频98791| 丁香婷婷婷五月综合色情| 婷婷福利影院| chaopeng在线人人| 99色爱| 色五月激情综合网| 久久a热| 狠狠干在线| www.com五月天| 他改变了拜占庭| 91九色精品女同系列| 激情五月婷婷她| 无码激情AAAAA片-区区| 操人91| 久久久区区一久久久久久| 激情伍月 欧美| 伊人丁香六月婷婷| 99久久久国产大片区| 五月丁香啪啪综合| 51成人| se婷97| 丁香五月天AV在线| www,99热在线观看| 精品久9| 色色婷婷综合| 亚洲区在线| 午夜天天精品视频| 99热香港| 日逼影音先锋AV男人资源站| 九九精品婷| 91欧美日韩| 久久久全国免费视频| 成人做爰黄A片免费看直播室男男| 99热这里只有精品55| 五月丁香六月婷婷在线观看| 五月天激情婷婷五月天久久| 亚洲精品小视频| 第二色AⅤ| 天堂婷婷五月在线| VA国产在线综合网站| 888精品福利地址| 色10月婷婷视频| 青草网在线观看| 亚洲色碰| 色婷婷狠狠干| 五月天开心色情网| 婷婷伊人五月| 国产激情综合五月久久| 人妻aV在线| 播五月丁香六月| 这里只有精品网站| 五月开心色| 99热费观看| 亚洲狠狠狠| 丁香六月激情综合啪啪| 天天爱天天吃狠天天透| 五月停停色色丁香| 天天天干夜夜夜操| 粉嫩AV久久一区二区三区| 久9热| 九九视频在线观看视频6 | 丁香五月播播| 北京熟妇搡BBBB搡BBBB| 五月婷婷香蕉视频| 日韩成人电影Av| 黄久久久| 婷婷五月大| 五月天婷亚洲天综合网综合| 九九草热在线观看| 中文在线视频久1| 婷香五月激情视频| 超碰在线国产| 99色视频| 激情五月婷婷视频| 伊人久久综合| 欧美色图天堂网| 色婷婷电影| 久热这里只有精品在线观看| 五月丁香久久丝袜啪啪| 色五月婷婷老师| 婷婷五月天激情小说| 在线观看av网站| 丁香五月性| 成人在线视频网| 国产成人精品一区二三区熟女在线| 国产精品第一国产精品| 91九九热| 超碰电影在线播放| 六月丁香基地| 色情·com| 久久成人综合五月天| 在线A色| 亚洲综合热| 色欲五月婷婷| 色色色综合网| 免费观看日韩成人av| 亚洲一区二区无遮挡A片| 久婷| 激情五月婷婷在线区| 99热在线观看亚洲区| 开心激情综合| 亚洲第一第二网站| 202丰满熟女妇大| 91操黄| 九月婷婷综合网| 国产一级片| 丁香婷婷少妇| 婷婷激情综合| 99爱在线视频| 操逼电影免费看| 影音先锋男人av资源站| 玖玖爱综合网| 五月婷婷综合网在线播放| 日韩激情人伦人| 欧美综合五月丁香六月婷| 26uuu成人网| 欧美在线干| 免费看成人AA片无码视频吃奶| 99九九这里有免费视频| 色五月色图| 色噜噜狠狠色综| 欧洲激情五月天| 婷婷五月天精品| 国产在线中文字幕| www.色五月| 99re在线免费视频| 99亚色色色| 色色色色色色色色色999| 激情五月婷婷丁香综合网| 婷婷月综合| 狠狠干综合| 丁香五月婷婷高清| 这里只有精品偷拍| 色五月婷婷五月天激情综合| eeuus五月婷| 激情小说 五月天| 婷婷的色色五月天| 国产精品99久久久久久久女警| 成人av在线电影| 成 人片 黄 色 大 片| 九七色色六月丁香| 一起操 91N.com| 综激情网| 午夜性爱影视一区77| 《蜘蛛女》梁铮1995| 国产亚洲在线| 丁香五月偷拍| 免费AV在线| 99久久99久久| 丁香婷婷啪啪啪| 永久地址 色| 黄色片区子| 日日日日日| 免费成人网在线观看| 婷婷欧美综合| 婷婷六月色播| 六月伊人婷婷| 999热在线视频| 婷婷无码视频| 激情婷婷五月丁香啪啪啪| 99爽视频| 婷婷五月天婷婷| 丁香婷婷十月| 婷婷爱五月天| 开心五月深爱五月| 婷婷九月丁香天堂丁香天堂| 久久综合伊人综合在线| 亚洲一区二区无遮挡A片| AA片在线观看视频在线播放| 97操碰视频| 5月婷婷激情6月| 日本婷久久| 五月激情四射网站| 开心婷婷五月天综合| 天天做 天天爱| 9l视频自拍9l九色成人| 婷婷五月综合中文字幕| 婷婷AV丁香| 日本色爽| 麻豆AV一区二区三区| 免费亚洲成人电影AV| 五月天激日本色情在线| 开心五月天激情网| www,黄色在线,con| 综合久久综合久久| 丁香五月香蕉在线| 97五月久久丁香婷婷| 直接看的av| 狠干综合| 人人干Av| 久热大香蕉| 婷婷五月激情欧美大胆视频| 国产67194| 亚洲人人艹| 成人小说 五月天 婷婷| 91综合视频丁香| 第五婷婷伊人丁香| 久久99成人性爱高清视频| 亚洲九区| 色色婷婷丁香五月天| 高清激情av在线观看| 国产精品国产| 久久人妻熟女一区二区| 玖玖国产视频一区| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 色五月色图| 成人五月丁香花| 九九热这里只有精品23| 五月婷婷丁香瑟瑟视频| 丁香五月中文字幕| 天堂成人A片永久免费网站| 在线伦子99热| 欧美在线97| 一级操逼内射在线视频| 五月情丁香色| 伦乱天堂| 天天爽人人综合免费7799| 激情婷婷99| 日本三级片片| 伊人狠狠干| 色婷婷69| 天啪天啪天啪天啪| 色婷婷影视99| 婷婷性爱无码视频| 欧美美女国产日韩一区二区久 | 综合五月婷婷| 五月激情网站| 天天人人人人人人人人人人人| 国产一级黄色影片,| www.99热最新视频8| 久久99综合网| WWW、日本色丁香、co m| 亚洲人人96@| 久久99久久99精品免视看婷婷| 五月丁香大香蕉| 九九热99视频在线| 精品人妻久久久久久久| 亚洲乱码日产精品BD| 秋霞免费视频| 六月丁香五月婷婷首页| 久久久久人妻| 综合激情伊人影视在线| 日本三级韩三级99久久| 天天综合五月| 另类图片激情五月| 成人免费黄色短视频| 久久这里都是精品免费| 亭亭五月色男人| 超碰九九热| 九九热最新| 91九色成人原创视频| 婷婷爱综合| 久草热在线视频| 婷婷爱爱蜜臀天天操| 色亭亭五月天丁香综合AV - 百度 - 百度| 超碰碰碰碰| 国产亚洲精品人人| 久久这里都是精品| 亚洲丁香五冃97色| 热久久视频99| 日本女色人人| 天天模,夜夜模夜夜爽| 五月天丁香| 99精品国产在热久久| 亚洲操精品| 日韩另类在线观看| 99色色| 岛国资源站| 国产色五月婷婷| 精品无码久久久久久久久| 亚欧州精品视频| 97热精品| 97色女人在线| 婷婷人人操| 99色视频在线| 九九综合久久丁香婷婷,开心激情综合网| 舔色婷婷| 亚洲综合一区二区| 无码髙清| 丁香五月婷婷亚洲综合精品| 丁香五月色| 婷婷五月天激情综合| 影音先锋色婷婷| 色婷婷久久综合| 操操啪| 欧美在线干| 另类在线| 六月丁香婷婷视频综合在线观看 | 9久久精品| 丁香五月激情婷婷| 国产成人网址| 亚洲成人电影aaaa| 中文字幕不卡网站| 月婷婷婷婷五月| 久久丁香九| 99色热视频在线| 欧美日韩成人在线网站| 99啪啪视频| 欧美日韩成人在线| 国产精品人成A片一区二区| 五月亚洲激情| AV大香蕉| 99精品无码网站| 强壮的公次次弄得我高潮A片日本 | 五月丁香狠狠爱婷婷综合| 亚洲精品性色| 日韩啪啪自拍| 入口五月婷婷六月香| 久热伊人| 大香蕉婷婷久久| 婷婷伊人| 日本在线免费中文com.| 黄色av网站在线免费播放| 婷婷在线免费| 色婷婷色综合激情91| 中文字幕av在线播放| 色婷婷五月色| 色色热| 五月激情啪啪| 99热成人| 丁香九月婷婷色| 丁香六月成人网| 热99久久这里只有精品| 91人无码久久久久久| 99热精在线九九久久保| 亚洲情综合五月天| 天干夜夜操| 欧美婷婷色五月网| 97色久| 99久热这里只有精品视频删减版| 四季8848精品成人免费网站| 五月激情婷婷女| 性爱网六月丁香| 99热精品免费| 五月丁香婷婷色| 直接看的AV| 色婷婷欧美在线| 九月丁香久久网| 五月激情综| 久久嘟嘟丁香| 99碰超| 丁香五月在线伊人| 激情五月四色| 五月丁香色婷婷色| 怡红院91a√| 超碰色综合| 五月丁香久久激情综合| 五月婷婷激情久久| 操操操av| 五月黄色婷婷| 丁香五月天网站| 人人舔人人色人人高潮| 天天综合网色欲香| 大香蕉人妻| 日韩欧美四五区| 91九九| 九九精品视频在线6| 亚洲无aV在线中文字幕| 五月天综合色| 天天成人丁香美女AV| 亚洲午夜Av| 久久99网| 人人爽人人爽人人爽人人爽| 99色日本| 五月天开心婷婷激情网站| 婷婷综合在线| 国产真实乱了老女人视频| 九九视频这里只有精彩| 亚洲综合色婷婷| 99超超碰| 99九无网码| 久久久er热| 人人操婷婷| 天天操综合网| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 亚洲AV成人在线| 欧美Va在线| 欧美日韩国产一区二区| 五月婷婷综合激情| 五月天另类小说| 99er日韩| 偷拍99在线视频观看| 开心五月婷婷婷美女| 永久的网站AAAA| 欧美成人精品A片免费一区99| 婷婷五月情| 天天婷婷综合| 99久久色| 色婷婷99| WWW五月| 伊人婷婷五月天| 亚洲九九99精品视频在线播放| 99超级碰碰| 午夜性爱影视一区77| 激情五月天99色| 五月丁香六月| 五月亭亭性| 丁香五月网| 成人免费120分钟啪啪| 婷婷五月天免费视频| 久热九九| 这里有精品| 天天爽天天日| 亚洲色爽| 色色色区| 99综合97| 97色色色色色| 久久色五月天综合网| 婷婷94s| 五月天丁香网站| 思思精品久久艹| 色五月天激情| 97婷婷久久丁香| 五月婷婷激情网| 99视频只有精品| 激情五月天色色| 婷婷在线日韩综合| 日本爆乳片手机在线播放| 五月天婷婷色播| 91色在线| 欧洲电影在线观看免费版英语版| 午夜爱爱网站| 热99热9| 大香蕉久久伊人婷婷五月丁香| 超碰在线资源| 丁香五月激情网| 五月婷婷综合色拍| 99久久久久| www.99操| 国产精品美女久久久久AV超清| 日韩另类在线观看| 久久成人天| 大香蕉久久| av网站免费在线| 午夜婷婷| 中文av网站| 六月亚洲婷婷6月中文字幕| 久99精品视频| 久久人妻熟女一区二区| 大香蕉综合网| 九九99久久| 69激情小说| 亚州精品色情无码A片| 97偷拍对白视频| 丁香五月婷婷六月| 激情五月丁香六月综合AVXXXX| 五月天婷婷色紫薇阁| 五月丁香好婷婷A片网| 五月天天综合网色婷婷| 图片区 小说区 区 亚洲五月| 色播综合| 激情婷婷人妻| 九色视频91| 综合www色| 亚洲丁香五冃97色| 五月丁香色综合| 色丁香六月| 天天粽合合合合| 成人看片网站| 国产免费av在线| 大香蕉色婷婷伊人在线| 婷婷天堂站| 婷婷射综合| www.俺去也com| 激情色中文| 香蕉影院色| 亚洲精品一区中文字幕乱码| 婷婷五月色情天| 婷婷五月色激情欧美激情| 婷婷五月免费在线| 女人天堂av| 99re66热这里只有精品| 久久电影五月天丁香电影| 伊人综合网站| 婷婷性爱网| 丁香五月婷婷色播艳门照| 综合 蜜月 婷婷| 变态 另类 在线| 色婷婷丁香五月| 性综合网| 无码区婷婷五月花开| 国产VA播放| 免费观看亚洲AV片| 97在线刺激| 激情综合在线播放| 婷婷久久婷婷色五月| 怡红院AV亚洲一区二区三区H| 五月天激情国产综合婷婷婷| 激情综合五月婷婷| 九九视频在线观看| 第五色色色婷婷| 欧美综合婷婷网| 夜夜天天久久婷婷| 激情婷婷丁香五月天小说| 日本综合久久| 91人人超碰在线| 六月大香蕉| 婷婷色色欧美| 色婷婷播放| 六六久久黄色| 亚洲精品白浆高清久久久久久| 日本欧美成人片AAAA| 亚洲精品午夜国产va久久成人| av九九| 国产一级片| 丁香五月欧美午夜视频| 天天做天天爽| 五月丁香六月综合激情无码软件亮点| 亚洲99精品欧美一区| 丁香五月98| 激情五月婷婷啪啪| 亚洲人人干| 婷婷四月 成人 狠狠干| 思思99精品视频在线观看| 婷婷中文在线| 噜噜色五月| 久久五月网| 久久五月综合| 五月天激情小说婷婷| 玖玖爱伊人| 婷婷久久久| 综合99久久| 亚洲高清在线| 婷婷六月激情| 俺来也综合网精品一区| 亚洲在线激情婷婷五月| 91精品电影18T| 丁香六月婷婷高清| 婷久看人爽| 丁香六月爱综合| 99色干| 色婷婷WWW| 99这里只有精品国产| 99,色| 亚洲色情免费网| 色色色色热热| 天天综合图片| 综合综合色色| 操逼在线视频| 狠狠干综合网| 丁香社92视频| 123草逼网| 在线观看亚洲AV| 日韩综合天堂| 无码地址| 99惹| 婷婷激情五月综合丁香社| 另类国产综合| 五月丁香婷婷AV| 色色色免费视频| 日本99色| 天天插综合| 婷婷五月六月| 9色91视频| 第四色在线观看| 丁香婷婷六月| 日韩精品成人在线| 成人中文字幕在线| 99久久精彩视频。| 天天摸.天天mo| 操逼123网| 五月香婷婷| 婷婷色五月激情| www开心激情网| 婷婷深爱网| 97色色色| 日韩一级网站| 精品乱码久久久久| www,999日本色| 天天射天天插天天干| 另类图片五月激情| 久久日韩婷婷五月| 久久黄A片| 婷婷五月天激情在线观看| 狠狠狠狠狠狠狠狠狠狠狠色宗合图片| 女高怪谈在线观看| 可以免费观看的AV| 五月天激情小说| 久久婷网| 国产精品人人做人人爽人人添| 色综啪啪| 天色综合网| 国产韩日亚洲美州欧亚综合在线| 狠狠色噜噜狠狠色噜噜噜999| 婷婷四色成人综合色视| 超碰人人99| 欧洲色色| 色噜噜狠狠色综无码久久合欧美| 99热这里只有精| 天天视频精品9| 九九re精品视频在线观看| 超碰人人草| 丁香涩涩五月天| www色五月天| 秋霞A V毛片| 色五月天综合网| 欧美色久| 小香蕉av| 精品国产乱码久久久久久免费| 色狠狠婷婷| 国产人人操| 国产亚洲99久久精品| 在线另类| 久久色这里只有精品| 91人人操人人| 亚洲激情四射| 激情性爱网站| www.色色com| 五月丁香| 亚洲丁香五月在线观看| 欧美精品18| 欧美日韩91| 亚洲视频在线观看| 欧美性爱日韩性爱| 久久综合这里只有精品1 | 综激情网| 婷婷五月天第四色| 色色色色色色色色网站| 久草热在线视频| 国外亚洲成AV人片在线观看| 操人久久| 婷婷五月开心中文字幕在线| 人人澡天天色天天做| 亚洲99精品欧美一区| 天天干狠狠| 亚洲A片成人无码久久精品青桔| 麻豆精品| 久久久久9999| 天天爽综合网| 色综合伊人网| 色啦啦视频| 色色色999| 丁香久久AV| 色婷婷国产精品综合在线观看| 少妇AB又爽又紧无码网站| 九色成人AV在线| 99色综合| 激情宗合网激情五月天| 九九热99热| 激情五月天婷婷丁香| 色婷婷a| 五月丁香六月激情综合在线| 色亭亭五月天丁香综合AV - 百度 - 百度| 九九这里只有精品| 九月综合| 综合在线网| 另类 在线| 欧美精品99| 99碰碰。| 思思视频这里是精品| 这里只有精品9| 色色热| 免费人人操| 亚洲激情无码久久| 亚洲成人AV在线播放| 五月丁香六月婷| 久99久在线观看| 婷婷五月天色综合| 91超碰九色| 国产日韩欧美性爱| 日日天天干| 久cao香蕉影院| 思思热国产视频| 有哪些A片网站| 99精品在线观看| 精品女人九九九| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 无码一区二区三区四区五区| 色丁香五月天婷婷| 粉嫩AV久久一区二区三区| 久久精品99国产精品日本| 伊人超碰| 人人干人人操人人摸| 狠狠色噜噜狠狠狠狠综合| 中文字幕亚洲-区久久99婷婷| 激情五婷网| 日韩乱玛久久| 精品一二三区久久AAA片| 久久码久久无清| 亚洲人妻一区二区 | 婷婷激情五月色综合| 色色吧综合| 欧美日韩日韩成人| 色婷婷影音| 色欲丁香| 亚洲视频国产一区| 日日干干天天干| 99热这里只有精品8| 大香蕉久久婷婷| 五月天自拍网| 99色| 天天操B| 国产色99| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 久热69| 99热亚州综合| 天天爽综合| www,久久久| 六月丁香天堂| 天天xxxxxx天天日| www.色99| 全亚洲最大的婷婷五月天网站COM| 老司机伊人| 青青草婷婷五月天| 开心亚洲久久开心| 98色花堂98t.R| 婷婷之玖玖| 26UUU精品一区二区Com| www.久热| 亚洲1区| 色婷婷丁香五月天在线观看| av婷婷丁香| 激情五月天之五月婷婷| 五月天丁香成人| 婷香狠狠爱五月| 五月天另类小说久久小说网| 在线播放成人网站| WWW,色五月| 五月婷婷激情综合| 久久人五月| 国产精品色婷婷AV综合色色| 亚洲国产精品SUV| 久热只有这里有精品| 亚洲AV成人在线| 亚洲精品网址| 这里精品| 超碰九色| 99日本黄站| 五月婷六月| 极品五月天| 五月综合色播播丁香婷婷| 久久小说| 丁香婷最新动态| 99热这里只有精品22| 色色免费网站| 婷婷99狠狠躁| 欧在线一区| 色日本网| 国产精品美女久久久久AV超清| 日韩99色| 亚洲va欧美va天堂v国产综合| 九九色情网五月天| 天天日夜夜帕| 国产性爱在线| 青草热视频这里只有精品| AV成人在线网站| av在线超清中文| 九九色影院| 欧美成人无码一区二区三区| 97人人操在线| 亚洲另类婷婷综合| 色综合激情| 黄网在线免费播放| 9l视频自拍9l视频自拍九色学生| 东京热人妻一区二区三区在线| 久热这里只有精品视频6| 久久六月婷婷| 97深爱伊人综合| 9久久狠狠的| 成 久久| 五月天啪啪| 无码天天操| 牛色色碰| 五月熟妇婷婷久久| 亚洲视频一区| 日日日影院| 性生生活大片又黄又| 99热这里精| 六月色丁香婷婷| 99热这里有精品24| 1级欧美日韩| 天天肏天天插| 香蕉久久av一区二区三区| 天天插天天干天天舔| 婷婷五月天成人| www·五月天| 99青青草99| 丁香色播五月天| 婷婷亚洲在线| 这里只有精品1| 在线亚洲综合网| 天天艹夜夜艹| 色综合九九色综合88| 停婷丁五月在线| 国产1区2区3区| 色色激情网| 99热这里| 激情五月天视频| 五月亚洲激情| 欧美日韩中文国产一区发布| 全国最新疫情| 裸睡玩奶头(高H)| 婷婷激情鹿城五月天| 67194线路二在线观看| 色婷五月| 久re在线| 国产综合色婷婷精品久久| 久久婷婷丁香| 综合色五月| 美女婷婷六月色| 色九月| 亚洲婷婷成人五月天| 丁香六月婷婷社区| 99色性爰网络| 碰碰女| 五月丁香综合啪啪| 五月噜噜噜色综合| 涩丁香| 色婷婷狠狠| 婷婷丁香综合| www.狠狠| 亚洲色婷婷激情| 2018国产大陆天天弄| 亭亭五月天成人| 伊人婷婷五月天av| 超碰人人干| 激情五月天色| 婷婷99视频在线| 久久99成人性爱高清视频| 丁香五月婷婷婷桃花影院| 综合色五月天| 久操人妻| 亚洲V国产V欧美V久久久久久| 亚洲色情网站| 婷婷色情五月| 99热6这里只有精品| 激情婷婷亚洲五月| 99婷婷精品推荐在线视频| 五月色天情| 中文在线成人| 亚洲免费99| 久久精品在线| 微拍92| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 伊人五月天在线| 五月丁香在线精品| 色色色色色色色色色色色色色五月天| 婷婷久久综合| 欧美成人无码高清一区二区三区| 噢美99| 99九九精品| 91ncom.色| 国产精品久久久久久喷浆| 热久久视频99| 五月丁香激情综合六月涩涩爱| 丁香五月激情综合| 夜夜做天天爽| 四射综合网| 狠狠狠狠狠干| 丁香色播五月天| 丁香五月婷婷色偷偷| 激情五月综合| 伊人成人宗合网| 亚洲欧美国产A片免费观看| 99热这里只有精品22| 五月婷婷在线视频免费观看| www...com黄在线观看| 久久婷婷网| 成人五月天在线观看| 在线看AV| 五月丁香啪啪网| 亚洲超碰在线| 97超碰婷婷五月天| www.99热精品| 欧美三级视频下载| 色5月婷婷色| 婷婷六月天精品| 大天天伊人| 五月色综合| 99久久er| 久热中文字幕| 丁香五月天激情综合| 天天狠天天叉| 99碰碰| 丁香网站| 啪啪色区| www.操逼comm| 婷综合六月| 日本丁香五月| 九九热这里只有精品在线观看| www色综合亚洲92| 99免费在线视频| 狠狠穞A片一區二區三區| 综合另类视频| 五月婷丁香| 可以免费看的av网站| www,超碰| 国产亚洲成AV人片在线观黄桃 | 日韩成人免费电影| 六月天婷婷| 婷婷五月综激情| 久久伊人大香蕉| 五月亭亭狠狠| 欧美激情五月天在线观看| 婷婷99视频全集高清| 色吧五月婷婷| 久久偷拍综合五月天| 五月婷婷啪啪网| 97成人丁香| 亚洲精品99| 婷婷五月天亚洲综合| 超碰久热| 九月丁香欧美综合| 丰满女老板BD高清A片| 色色亚洲五月天| 久久激情综合| 国产激情在线观看| 九九这里只有精品| 夜夜操夜夜爽| 五月婷婷狠狠干| 天天舔天天爽| 亚洲激情综合| 五月亭亭六月色| 色综合香蕉| 青青草大香| 狠狠干狠狠干| 先锋av性爱成人电影| 99久久九九| 欧美日韩中国| 99热这里只有精品55| 狠狠穞A片一區二區三區| 99热这里只有精品69| 久久加勒比| 5月丁香综合图区| 99爱精品| 热思思| 六月丁香五月激情亚洲AV| 六月婷婷色色色| 欧美日韩123| 婷婷丁香五月亚洲免费| 天天草婷婷五月| 激情四射网| 日本少妇裸体做爰高潮片| 超碰国产在线| 婷婷五月天视频| 日本色噜| 亚洲五月天婷婷| 婷婷五月丁香综合桃花色网| 婷婷综合网站| 99九九视频| 色情久久久| 五月天婷婷黄色视频| 色开心五月婷婷丁香HD| 老师的粉嫩小又紧水又多A片视频| 婷婷六月色| 色丁香影院| 69五月天视频| 五月丁香六月色婷婷综合五月天| 婷婷五月丁香亚洲| 久99热| 色五月成人| 99热日韩| 婷婷五月天综合激情| 99丁香五月婷| www亚洲无码| 98色花堂98t.R| 国产午夜一区二区三区| 先锋av性爱成人电影| 国产亚洲色婷婷99精品| 九九中文字幕九| 中文超碰视在线| 最近免费中文字幕大全高清大全1| 9久久婷婷国产综合精品性色| 韩国天天婷婷| 五月丁香成人版| 六月婷婷五月丁香首页| 九月久久婷婷| 热久久婷婷| 99热99精品在线观看| 99这里只有精品视频| 亚洲最大在线| 97操碰在线视频| 五月天天天色| 色婷婷婷婷成人网| 久热天堂| 狠狠干.com| 婷婷色综合| 亚洲五月天婷婷| 五月天淫乱视频| 天天插插天天| 怡红院99| 九九热这里有精品视频| 婷婷在线精品| 婷婷激情性爱| 久久38视频| 婷婷五月天久草在线| 久热一区| 伊人无码高清| 91精品综合久久久久久五月丁香| 97操碰视频| 婷婷激情人妻| 日日舔夜夜操| 五月天激情久色| 色婷婷五月天成人网| 嫩草综合网| 成人五月天丁香| 欧美日韩成人一区二区| www91在线| 日日日日日| 五月丁香| 99在线观看| 亚洲色五月| 久久视频婷婷| 第四色大香蕉| 激情六月天| 五月婷婷六月情| 亚洲久热无码| 这里只有精品在线免费视频| 六月丁香婷婷在线波多| 丁香六月av| 一级片sese片.COM| 操碰91| 久久五月天婷婷| 婷婷五月色色| 黄色一级影片| 操九色| 婷婷月综合| 99在线小视频| 婷婷人妻激情| www,超碰| 久久色五月天| 人人操人人妻| 思思热99er| 韩国97天堂| 亚洲不卡123| 95精品区一区二| 色五月 婷婷, 大香蕉| 激情综合视频| 久久婷丁香五月| 色婷婷久久综合| 亚洲欧美综合7777色婷婷| 久综合网| 六九色综合婷婷五月天| 日本色视| 女人被男人吃奶到高潮| 午夜爱爱网站| 色播播婷婷| 欧美色性色好| a久久| 丁香婷婷激情六月五月开心| 99热99这里只有精品| 五月天色婷婷激情| 99热97| 99热碰碰| 婷婷五月天播播| 99熟女啪啪视频| 亚洲av免费在线| 午夜五月天| 色色色国产| 99精品在这里| 五月婷婷色| 超碰人人操人人干| 翔田千里 50岁 无码| 伊人五月天在线| 九月丁香婷婷| 五月天色综合| 玖玖婷婷五月天| 无码人妻少妇色欲AV一区二区| 国产精品久久久爽爽爽麻豆色哟哟 | 操操啪| 青草视频在线播放| 亚洲va成人va成人va在线观看| 婷婷综合视频| 激情九月综合| 99热只有| 五月婷综合| 免费观看18视频网站| 丁香五月激情图片婷婷| 五月婷婷9| 久久综合站| www.激情五月天.con| 超碰二区| 综合亚洲色色| 色色综合成人网| 五月亭亭激情综合| 五月丁香龟婷婷| 中文成人在线| 久久精品99久久久久久| 久超超碰| 五月丁香综合网| 国产看真人毛片爱做A片| www.夜夜爱.com| 亚洲视频另类| 中文字幕AV网址| 99re66热这里只有精品| 五月色婷婷影视在线电影| 日本婷婷综合精品| www色五月天| 亚洲色五月| 在线日韩视频| 五月天另类小说| AA片在线观看视频在线播放| 在线日本www| 91狠狠色色丁香婷婷综合久久| 超碰色婷婷| 色五月成人婷婷| 亚洲精品性色| 婷婷五月天六月丁香| 激情五月天婷婷五月天| 久久久18| 欧美精品XXXXBBBB| 国内9l视频自拍老熟女九色| 婷婷五月色天| 国产真人做爰视频免费| 日韩美一级毛卡片| 99网址在线看| 综合欧美五月婷婷| 久久五月天综合视频网站| 天堂AV在线看| 色欲五月婷婷| 91狠狠综合久久久久久| av亚洲国产小电影| 五月天综合色| 秋霞成人毛片一级A片| 26uuu.| 一个色的综合| 狠狠狠狠狠狠狠狠草| 日日做夜夜爱| 色偷偷狠狠| 五月婷婷婷婷| 99久超碰| 久热婷婷| 91操女| 91超碰九色| 99网址在线看| 99re久热只有精品6在线直播| 色J香五月天| 九九综合精品| 国产精品久久久久久久久久免费| http://www.com久久久精品一区| 色综合香蕉| 思思久ren热| 久久久久er热| 国产资源91在线| 成人综合视频在线| AA丁香综合激情| 丁香婷婷老司机久操| 综合一区二区三区| 婷婷伊人网| 色天天综合成人网| 狠狠人妻色综合| 亚洲精品一区中文字幕乱码| www.婷婷五月天| 色情成人五月天| 色香蕉影院| 亚洲一区二区无码蜜乳av| 婷婷六月综合基地| 欧美25p| 色婷婷yy久| 天天肏夜夜肏| 婷婷玉月丁香五月在线视频| 国产精品五月丁香| 色婷婷五月天在线观看| 五月丁香| 色99视| 久热这里这里有精品| 我爱va亚洲va52| 伊人五月综合网| 五月综合视频| www.com在线操视频免费观看| 99精品视频在线观看| 婷婷丁香五月视频| 草综合网| 成人超碰Av| 丁香六月欧美| 图片区 小说区 区 亚洲五月| 婷婷五月丁香超碰| 婷婷五月天国产手机在线视频观看| 色色色色色色色色网站| www.婷婷五月| AA片在线观看视频在线播放| 69久久99精品久久久久婷婷| 色综合开心五月深爱五月| 国产综合色婷婷精品久久| 日本强伦片中文字幕免费看| 婷婷九九色| 五月婷婷色播视频| 五月婷婷天天| 日本精品久久久久中文字幕| 99精品久久| 碰久久精品w| 久久婷婷成人视频| 色情五月婷婷| 国产av天堂| 99干日日干| 成人短视频在线| 五月天深爱激情网| 99无码精品| 久久五月婷婷视频| 五月天停婷基地| 日日射天天射| 五月丁香影院| 葵花AV在线| 开心激情色婷婷五月天| 操一操插一插| 激情网五月| 久久婷婷的综合色丁香五月| 婷婷六月爽| 色综合久久88色综合天天99| 天天日天天爽夜夜爽| 五月丁香花激情啪啪网| 日日操夜夜爽白洁| 五月天社区婷婷丁香社区| 北条麻妃九九九国产精品视频| 影音先锋高清无码资源网| 丁香成人五月天| 激情综合激情五月一起草| 五月综合久久| 婷婷99中文字幕| AV中文在线| 日韩aaaaa| 丁香五月婷婷图片综合| 毛片网站谁有| 91色吧网| 亚洲精品婷婷| 91人人看| 日日操夜夜爽天天天| 久久九九网| 人人操人人看97干| 婷婷五月天AV激情| 色五月婷婷小说亚洲中文字幕组| 精品一二三区久久AAA片| 激情五月天色色| 天天做天天爱天天高潮| 99久久喉9| 91干婷婷| 亚洲第一色色色| 精品99在线| 夜色.cnm| 五月天天天开心激情网| www99热| 丁香八月综合激情| 五月丁香综合久久|