欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

MoE混合專家模型:稀疏激活如何破解大模型容量與成本困局

MoE混合專家模型:稀疏激活如何破解大模型容量與成本困局 從Transformer誕生起前饋網(wǎng)絡(luò)FFN就是又笨重又繞不開的角色它占了模型近三分之二的參數(shù)量但每個token都得老老實實把所有參數(shù)過一遍。你擴大模型容量推理成本就跟著線性往上漲這讓很多想做大規(guī)模模型的人非常頭疼。MoE混合專家模型或者說稀疏前饋網(wǎng)絡(luò)正是沖著這個矛盾來的——它把單個FFN拆成一組并行專家再加一道輕量門控路由讓每個token只激活其中一小部分專家。參數(shù)總量可以擴展數(shù)倍到數(shù)十倍但單token的計算量基本維持原樣容量和成本終于被解耦了。這篇文章我會從設(shè)計動機一路講到訓(xùn)練和推理階段的工程坑包括門控網(wǎng)絡(luò)怎么工作、負載均衡為什么難搞、專家并行怎么通信以及一批可以直接上手的調(diào)參經(jīng)驗。不管你是想改造自己的Transformer還是想理解最近一系列MoE大模型的結(jié)構(gòu)這篇都值得認真看完。1. 從 FFN 到 MoE改寫前饋網(wǎng)絡(luò)的真實動機1.1 一個容易被忽視的事實Transformer 的容量主要藏在 FFN 里很多人一提到Transformer下意識關(guān)注的是自注意力Self-Attention——tokens之間的交互全靠它。這話沒錯但你要是統(tǒng)計一下參數(shù)量注意力層其實只占很小一部分。一個標準Transformer Block里FFN通常包含兩個線性變換先把隱藏維度比如4096升到中間維度比如11008再降回來。這兩個矩陣相加參數(shù)量輕輕松松占總模型的2/3甚至更多。為什么設(shè)計成這個樣子因為FFN負責(zé)的是逐位置的記憶與抽象每個token獨立經(jīng)過同樣的非線性變換把注意力層已經(jīng)匯集的上下文信息進一步加工成更高層的特征。可以這樣理解注意力層負責(zé)商量FFN負責(zé)各自做事。商量只需要一個桌子做事卻需要大量工具工具多了參數(shù)量自然就上去了。問題在于推理時即使工具再多每個token也得把這些工具全部用一遍。參數(shù)量翻倍單個前向的計算量就翻倍延遲也跟著上來。于是你面臨一個非此即彼的選擇要么保持計算量不變放棄擴展容量要么接受昂貴的推理成本。這個矛盾在模型規(guī)模做大之后尤其尖銳我當時在一個文本模型項目里試著把FFN中間維度從4倍擴到8倍效果確實有提升但顯存和推理延遲的代價直接讓我放棄了。1.2 稀疏激活的直覺讓參數(shù)多、計算少變成現(xiàn)實MoE的思路一句話就能講清楚既然每個token用不上所有工具那就把FFN拆成若干個可以獨立工作的專家然后裝一個分診臺門控網(wǎng)絡(luò)讓每個token只去它需要的幾個專家那里其余專家本輪直接跳過。這就是稀疏激活的含義。傳統(tǒng)FFN是稠密計算——所有參數(shù)對所有輸入都參與計算MoE則是稀疏的——參數(shù)總量很大但單個token實際觸發(fā)的參數(shù)很少。用專業(yè)一點的術(shù)語描述假設(shè)總共有E個專家每個token從路由分布里挑出K個專家K遠小于E通常K取1或2那么這token的FFN計算量大約是原來單個FFN的K/E而不是E倍。直覺上可以類比全科醫(yī)生和??崎T診的區(qū)別。普通FFN像一個能力全面的全科醫(yī)生每個病人都由他一個人看診所請不動更多醫(yī)生病人再多也是他一個人忙。MoE則是一個開了很多??圃\室的醫(yī)院每個專家只擅長某一類病分診臺根據(jù)病人癥狀快速分配科室每個病人只看一兩個專家其他科室完全不打擾。醫(yī)院規(guī)模可以很大但單個病人的看病時間并沒有增加多少。模型容量來自有很多??漆t(yī)生計算效率來自每個病人只看很少的醫(yī)生。1.3 為什么改造的是 FFN而不是注意力層這里有個值得深思的問題為什么大家做MoE都動FFN而不直接把注意力層也拆成混合專家原因在于兩種結(jié)構(gòu)的Nature完全不同。注意力層在每層同時處理所有token通過Q、K、V矩陣建立跨token的交互每個token的結(jié)果都與其他token相關(guān)FFN則對每個token獨立操作token之間沒有任何信息交換。正因為FFN的逐token獨立性我們才可以放心地把不同token送到不同專家專家之間不通信各自處理完再把結(jié)果放回原來的位置。如果對注意力層做路由比如讓每個token只和一部分token交互那被誰注意到會因為不同token選了不同專家而變得極度碎片化上下文信息容易出現(xiàn)斷裂訓(xùn)練難度也會直線上升。這不是說注意力MoE完全不可行而是在標準Transformer架構(gòu)里FFN是成本收益最劃算的改造點改動局部、邏輯清晰、收益最大。還有一點很實際FFN的權(quán)重是逐token獨立存儲的天然適合做參數(shù)并行——把不同專家放到不同GPU上互不干擾。注意力層則必須做完整的矩陣乘法和跨卡同步通信開銷大得多。所以從工程角度FFN也遠比注意力層更適合做稀疏化改造。2. 稀疏路由的完整工作鏈路門控網(wǎng)絡(luò)、Top-K 選擇與專家容量2.1 門控網(wǎng)絡(luò)token 怎么決定自己去哪個專家門控網(wǎng)絡(luò)Router也叫Gating Network是整個MoE最核心的組件。別看它決定著一大群專家的調(diào)用方式它本身的結(jié)構(gòu)卻非常簡單通常就是一個線性層輸入是token的隱藏表示h輸出維度等于專家總數(shù)E。然后過一個Softmax得到該token對各專家的選擇概率分布。用公式表示就是router_logits W_r hrouter_probs softmax(router_logits)這里的W_r是一個非常小的矩陣假設(shè)隱藏維度是4096專家數(shù)是8那W_r的參數(shù)量只有4096 × 8占整個模型的比重可以忽略不計。所以門控網(wǎng)絡(luò)被稱為輕量——它算得快、參數(shù)少卻直接影響模型的容量利用率。一個關(guān)鍵的設(shè)計細節(jié)是Router的輸入到底用哪一層表示。如果是用當前層的FFN輸入那路由決策反映的是這一層之前的特征如果是用上一層的輸出或者與attention輸出拼接后的向量則可能包含更多上下文。不同實現(xiàn)各有取舍我個人的粗淺經(jīng)驗是在層數(shù)較深的地方用本層的輸入就夠如果訓(xùn)練不穩(wěn)定可以嘗試把上一層Router的logits也拼接喂進來給當前層更多先驗。2.2 Top-K 選擇與專家容量從分診到預(yù)約掛號拿到全量專家概率后不能真的所有專家都參與計算那樣又退回稠密了。做法是取概率最高的K個專家K通常取1或2。取到具體哪K個專家后對應(yīng)專家計算得到輸出再按路由概率或歸一化后的權(quán)重加權(quán)求和得到當前token的FFN輸出。當K1時每個token只走一個專家計算效率最高但每個token的感受域非常受限專家之間也完全沒有冗余協(xié)作。K2是當前很多工作的經(jīng)驗?zāi)J值既保證了稀疏性又給了token一點選擇的余地。我感覺K2相當于讓分診臺不僅選最合適的科室還允許備選科室兜底對訓(xùn)練初期路由還不成熟時特別友好。接下來是專家容量Expert Capacity的問題。一個專家在某一層最多能處理多少個token如果不設(shè)上限某幾個熱門專家可能被分配大量token其他專家空轉(zhuǎn)計算負載嚴重不均。于是實現(xiàn)時會為每個專家設(shè)置一個容量上限capacity capacity_factor * (T / E)。這個公式的含義是理論平均分配下每個專家應(yīng)該處理T/E個tokencapacity_factor則允許一定的彈性冗余。舉個例子假設(shè)T256個tokenE8個專家理論平均是每個專家32個tokencapacity_factor取1.25則容量為40。一旦某個專家被分配的token數(shù)超過了容量超出的token就只能被丟棄或者走一條殘差連接直接跳過FFN的通路。很多人第一次看到丟棄token會嚇一跳訓(xùn)練時丟信息模型還能學(xué)好嗎實際上這是工程上的妥協(xié)——如果強行保留所有token計算圖和同步邏輯會變得非常復(fù)雜還會導(dǎo)致不同專家之間的執(zhí)行時間出現(xiàn)長尾。后續(xù)有人提出無丟棄drop-free的負載均衡方法核心是調(diào)整路由分配而不是限制容量效果也確實更好。但從工程復(fù)雜度考慮帶容量的實現(xiàn)依然是目前最穩(wěn)妥的基線方案。2.3 一個完整的 token 走向示例為了把上面這些概念串起來我走一遍一個token在MoE層的完整流程token輸入為形狀[B, H]的向量先復(fù)制一份作為殘差為后續(xù)相加做準備。門控網(wǎng)絡(luò)根據(jù)當前token的表示算出每個專家的概率得到形狀[E]的分布。挑選概率最高的K2個專家記為專家3和專家7。token被送往專家3和專家7所在的設(shè)備如果是單卡就是同一設(shè)備上的不同矩陣。專家3和專家7分別對token做自己的FFN前向計算得到兩個輸出。兩個輸出按路由權(quán)重加權(quán)求和。加權(quán)結(jié)果與第一步的殘差相加得到當前層的輸出。這個流程里其他6個專家完全沒有參與計算對應(yīng)的參數(shù)也處于空閑狀態(tài)。這就是稀疏兩個字的真正含義——不是少設(shè)計了參數(shù)是每次只用到其中一小撮。3. 負載均衡與路由離散性訓(xùn)練階段最頭疼的兩個工程問題3.1 離散路由不可微梯度怎么回到 RouterMoE聽著完美但訓(xùn)練時第一個坑就擺在面前Top-K取的是索引是一個離散操作不可導(dǎo)。你沒法把我選了專家3這個行為直接變成梯度信號來更新門控網(wǎng)絡(luò)。怎么辦經(jīng)典解法是雖然選擇是離散的但最終輸出是對所選專家的輸出按概率加權(quán)求和而概率本身是router logits經(jīng)softmax得到的是連續(xù)可導(dǎo)的。于是梯度可以沿著概率權(quán)重這條路回傳到路由網(wǎng)絡(luò)。換句話說真正參與加權(quán)求和的權(quán)重是router_probs里選中那個位置的值而不是一個one-hot向量即使如此這仍然會產(chǎn)生一個什么問題呢問題在于概率權(quán)重在反向傳播時數(shù)值通常比較小門控網(wǎng)絡(luò)拿到的梯度信號偏弱。你可以理解為后端專家們學(xué)得很快但分診臺學(xué)得有點滯后。這帶來一系列連鎖問題后面會詳細講。還有一個細節(jié)容易被忽略訓(xùn)練時如果想用hard gradient估計算法類似Gumbel-Softmax的Straight-Through情況會稍有不同——forward時用one-hotbackward時用連續(xù)概率的近似梯度。但標準實現(xiàn)里大多數(shù)框架仍然采用加權(quán)求和式的軟路由簡單且穩(wěn)定。我之前在某次實驗里試過hard路由收斂速度明顯變慢后來果斷退回soft加權(quán)。3.2 負載坍縮少數(shù)專家過熱、多數(shù)專家空轉(zhuǎn)MoE最著名的訓(xùn)練困境就是負載坍縮load collapse。開始訓(xùn)練時Router的參數(shù)幾乎隨機各專家的分配還算均勻。但很快某些專家因為初始化稍好、梯度更新方向略微有利就會被分配更多的token形成正反饋熱門專家學(xué)得更快、表現(xiàn)更好Router越來越傾向于選它其他專家則長期閑置梯度信號近乎為零逐漸變成死專家。最終整個模型退化成其實只用了兩三個專家參數(shù)總量虛增容量優(yōu)勢形同虛設(shè)。解決負載坍縮的主要手段是加輔助負載均衡損失Auxiliary Load Balancing Loss讓Router在每個batch里盡量把token均勻分配給專家。經(jīng)典的實現(xiàn)大概長這樣aux_loss E * sum(prob_per_expert * fraction_of_tokens_per_expert)其中prob_per_expert是所有token對本專家的平均選擇概率fraction_of_tokens_per_expert是實際被分配到本專家的token占比。二者相乘再求和如果分配完全均勻這個值會趨近于1越不均勻值越大相當于對Router施加一個均勻化的懲罰。E作為縮放因子使得損失數(shù)值與專家數(shù)無關(guān)方便統(tǒng)一調(diào)系數(shù)。但這又引入新矛盾輔助損失權(quán)重設(shè)太大模型會傾向于為了均勻而均勻犧牲真正的專業(yè)分化整體表現(xiàn)下降設(shè)太小負載坍縮壓不住。我在實際調(diào)參時觀察到的情況是由于每個batch的分布都在變固定權(quán)重很難同時照顧訓(xùn)練前期和后期的需求。比較務(wù)實的方法是訓(xùn)練前幾百步用小權(quán)重等專家分化初步形成后再逐漸加大或者觀察負載的variance指標——如果某專家占比長期超過2倍平均值就臨時加大權(quán)重拉一把。3.3 初始化與 Router 輸入尺度的穩(wěn)定性除了負載均衡Router訓(xùn)練的另一個隱性障礙是logits的數(shù)值波動。如果Router的輸出一直非常大softmax出來的分布就會非常尖銳幾乎等于固定選Top-1專家別的專家?guī)缀鯖]有機會。反過來如果logits太小分布太平滑Top-K的選中結(jié)果和未選中結(jié)果差異不大路由失去了區(qū)分能力。一個常用技巧是給Router加一個可學(xué)習(xí)的temperature項初始值設(shè)小一點讓logits先溫和一些。入口處做LayerNorm也是常見做法把不同token的表示尺度拉到同一水平避免某些高范數(shù)token支配Router的決策。我還用過一種更樸素的方法直接從已有Dense模型做熱啟動warm start。比如把稠密FFN拆成E個專家時克隆同一份參數(shù)作為每個專家的初始化這樣所有專家在訓(xùn)練初期能力一致Router沒有偏心的理由。這在多任務(wù)遷移場景下特別有效畢竟從零訓(xùn)練一個大規(guī)模MoE冷啟動穩(wěn)定性的難度是很多人低估的。4. 訓(xùn)練態(tài)與推理態(tài)的差異顯存預(yù)分配、專家并行與通信開銷4.1 訓(xùn)練時怎么擺放專家專家并行與 All-to-All 通信討論完訓(xùn)練穩(wěn)定性還得解決一個現(xiàn)實問題MoE參數(shù)總量大一張卡根本放不下。傳統(tǒng)模型并行是切分每一層的矩陣MoE則有天然更優(yōu)的方案——專家并行Expert Parallelism把不同專家分布在不同GPU上每張卡只保存一部分專家的權(quán)重Router所在位置則根據(jù)token的分布動態(tài)將token散播到對應(yīng)專家所在的卡。這里有兩個關(guān)鍵通信階段。第一個階段叫Dispatch某個token被路由到專家3而專家3在另一張卡上就必須把token的隱藏向量通過通信送到那張卡。第二個階段叫Combine專家3算完輸出后結(jié)果還要送回原來的卡供后續(xù)的殘差相加和下一層使用。如果K2token實際上要做兩次dispatch/combine通信量也隨之倍增。這兩個通信階段使用的通常是All-to-All模式也就是每個節(jié)點都要向其他所有節(jié)點發(fā)送數(shù)據(jù)。這和傳統(tǒng)All-Reduce所有節(jié)點只匯總一個結(jié)果完全不同。通信量大約正比于被路由的token數(shù)、隱藏維度和專家跨卡跳數(shù)。所以一個非常重要的工程教訓(xùn)是MoE的稀疏收益到一定規(guī)模后可能被通信開銷吃掉。如果網(wǎng)絡(luò)帶寬不夠你會發(fā)現(xiàn)訓(xùn)練速度不升反降加專家還不如加計算密度來得劃算。我實際測試過一個典型配置8卡環(huán)境、每層8個專家、K2。在單機NVLink互聯(lián)下通信損耗還能接受但一旦跨機走以太網(wǎng)訓(xùn)練step時間立刻漲了30%收益大打折扣。所以設(shè)計MoE規(guī)模時一定要先盤清楚自己的通信拓撲。4.2 推理態(tài)顯存的真正瓶頸參數(shù)常駐而不是計算量很多人第一次接觸MoE推理時都會有個錯覺既然每個token只激活一小部分專家那顯存占用是不是也按比例減小不是。稀疏只減少了計算量FLOPs參數(shù)依然全部常駐顯存。無非是一個token實際只用到了門控網(wǎng)絡(luò)和少數(shù)專家的權(quán)重但所有專家的參數(shù)都必須在內(nèi)存里待命因為你不知道下一個token會訪問哪個專家。這在推理側(cè)會造成一個非常有趣的局面MoE模型的推理延遲可以接近同計算量的Dense模型但顯存占用接近同參數(shù)量的Dense模型。換句話說你省的是算力省不了容量。正因如此大規(guī)模MoE推理基本都是多卡分布式方案每張卡放一部分專家。當請求到來時token先經(jīng)過路由再通過通信調(diào)用其他卡的專家。這實際上把訓(xùn)練時的專家并行復(fù)用了只是batch更小、通信更多在卡間進行。顯存優(yōu)化通常還有兩個方向一是對專家權(quán)重做更激進的低比特量化因為專家本身是逐token獨立使用的量化誤差不容易像attention參數(shù)那樣跨token擴散二是預(yù)先把所有專家的參數(shù)做統(tǒng)一內(nèi)存池管理配合顯存碎片整理。后一種技巧偏工程化但收益很直觀尤其在長期多請求服務(wù)的場景里。4.3 padding token 帶來的路由損耗一個容易踩的隱藏成本訓(xùn)練時為了batch對齊我們會給短句做padding。在普通Transformer里padding位置雖然參與計算但因為注意力mask的存在它們對有效位置的影響基本可以被忽略于是人們很少專門去處理padding token的成本。但在MoE里情況變了每個padding token也要走Router、也要被dispatch到某個專家、也要占用專家容量。這帶來兩個直接后果。第一padding token占用專家容量可能導(dǎo)致有效token被擠掉超過capacity被丟棄。第二即使padding token沒有實際信息它們依然占據(jù)通信通道白白消耗All-to-All帶寬。好在我們找到的解決辦法并不復(fù)雜在padding位置的路由概率上直接加一個非常大的負偏置讓Router幾乎不可能選中任何專家或者把padding token在進入MoE層之前直接從batch里摘除等所有專家計算完再放回原位。前者改動小后者更徹底但需要處理動態(tài)batch工程復(fù)雜度會增加一些。類似的浪費也出現(xiàn)在推理場景現(xiàn)在主流的推理框架普遍采用連續(xù)批處理continuous batching不同請求的長度不對齊時也會出現(xiàn)大量虛位token。所以做MoE推理服務(wù)時請求調(diào)度策略對性能的影響往往比模型結(jié)構(gòu)本身還大。5. 實測調(diào)參清單與擴展思路從復(fù)現(xiàn)一個簡單 MoE 層開始5.1 一個可直接改寫的 MoE 層偽代碼結(jié)構(gòu)看完前面的原理你已經(jīng)可以把一個標準的MoE層搭出來了。下面用離實現(xiàn)很接近的偽代碼展示核心邏輯框架無關(guān)方便你對照著改寫自己的代碼。def moe_ffn(x, experts, router, K2, capacity_factor1.25): # x: [batch, hidden] B x.shape[0] E len(experts) T B # 這里假設(shè)每個token獨立路由實際實現(xiàn)會考慮padding mask # 1. 計算路由概率 logits router(x) # [B, E] probs softmax(logits, dim-1) # [B, E] # 2. 取Top-K專家 top_probs, top_idx probs.topk(K, dim-1) # 各[B, K] top_probs top_probs / top_probs.sum(dim-1, keepdimTrue) # 歸一化 # 3. 按專家容量篩選 capacity int(capacity_factor * B / E) dispatch_mask build_dispatch_mask(top_idx, E, capacity) # [B, E, K] 或管理token分配 # 4. 對每個選中的專家執(zhí)行 FFN并按權(quán)重聚合 output zeros_like(x) for e in range(E): selected dispatch_mask[:, e] # 哪些token被分到專家e if selected.any(): expert_out experts[e](x[selected]) # [num_selected, hidden] output[selected] (top_probs[selected, e] * expert_out) # 5. 殘差連接 return output residual_x當然真實工程里不會用for循環(huán)逐專家算而是通過矩陣乘法一次性完成所有專家的前向但核心邏輯就是上面的流程。為了效率專家計算通常會合并成一個大的張量運算把專家參數(shù)沿著一個軸堆疊起來然后用grouped GEMM一次算出所有選中專家的輸出。這也是很多訓(xùn)練框架在MoE部分做的主要優(yōu)化。5.2 調(diào)參順序先穩(wěn)定路由再追容量調(diào)MoE和調(diào)普通模型一個很大的區(qū)別是超參數(shù)之間存在明顯的先后依賴關(guān)系。一上來就亂試專家數(shù)、路由權(quán)重很容易出現(xiàn)忘記調(diào)了什么的局面因為每個超參數(shù)都會間接影響Router的負載分布。我建議按下面的順序做超參數(shù)常用范圍影響效果調(diào)整優(yōu)先級專家數(shù) E8~64視參數(shù)量預(yù)算決定容量上限和并行度先定預(yù)算再選Top-K1~2計算量、冗余度、通信量建議固定為2capacity_factor1.0~1.5丟棄率、負載余量、性能優(yōu)先調(diào)aux loss 系數(shù)0.001~0.1負載均衡強度次優(yōu)先Router溫度0.5~1.0可學(xué)習(xí)路由分布尖銳度小步微調(diào)專家Dropout0.0~0.1緩解過擬合、增強魯棒性最后調(diào)具體來說先固定E和K把capacity_factor從1.25開始試觀察訓(xùn)練時被丟棄token的比例。如果丟棄太多說明Router的選擇太集中或容量太小可以適當調(diào)大capacity_factor如果幾乎為零則逐步減小壓出更多計算密度。然后才去調(diào)整aux loss系數(shù)從0.01起步每幾百步看一眼各專家的token占比分布。占比的方差如果持續(xù)縮小到接近均勻說明權(quán)重偏大可以降如果某個專家占比持續(xù)超過2倍平均則要加大權(quán)重。一個反直覺的經(jīng)驗是對于中小規(guī)模的模型參數(shù)量在億級以下MoE的優(yōu)勢并不明顯。Router自身也需要數(shù)據(jù)爬坡假設(shè)總數(shù)據(jù)量沒法讓每個專家都充分訓(xùn)練那稀疏結(jié)構(gòu)的收益就會打折扣。所以不要只盯著MoE大模型專利這個說法也要理解它依賴的規(guī)模前提。5.3 什么時候不應(yīng)該用 MoE以及幾個值得關(guān)注的擴展方向MoE不是銀彈。如果你的使用場景是單機單卡、推理延遲極敏感、或者模型規(guī)模本來就很小那么MoE帶來的通信開銷和顯存負擔(dān)通常不值得。尤其是邊緣端或者移動端場景參數(shù)量常駐和動態(tài)路由的不確定性會讓部署變得非常不友好。寧可把精力花在蒸餾、量化或者知識蒸餾這類壓縮手段上。反過來MoE真正發(fā)光的地方是訓(xùn)練語料極其豐富而單卡顯存成為瓶頸、需要在不顯著增加推理計算量的前提下擴展容量、以及多種異構(gòu)任務(wù)希望共用一套底座但各任務(wù)又有自己的特性。多模態(tài)方向也可以大膽嘗試——不同模態(tài)的信息處理模式差異大正好適合交由不同專家專人負責(zé)門控網(wǎng)絡(luò)學(xué)到的模態(tài)路由有時會帶來意想不到的可解釋性。我在一次改造中把MoE從語言模型搬到了推薦系統(tǒng)的打分模型里不同用戶群體走不同專家冷啟動階段用戶走Generalist專家活躍用戶則能訪問專屬專家后的組合結(jié)果效果提升比純粹加深網(wǎng)絡(luò)更明顯。這說明MoE的分診思想完全值得跨場景復(fù)用關(guān)鍵還是找到那些不同樣本需要不同能力的問題。最后分享兩個小技巧。如果你已經(jīng)用上了MoE建議把Router的決策分布做成可視化日志每訓(xùn)練幾千步看一眼比任何損失曲線都能更快發(fā)現(xiàn)問題另一個是在測試階段記錄專家熱力分布如果模型收斂后大部分token的Top-1專家高度集中往往說明模型只學(xué)到了表面規(guī)律需要回頭檢查訓(xùn)練數(shù)據(jù)本身的多樣性。MoE這條路技術(shù)在往前走但工程的坑說到底還是那幾類通信、負載、穩(wěn)定性。理解了底層邏輯剩下的就是耐心調(diào)參和踩坑。希望這些經(jīng)驗?zāi)軒湍闵僮邘撞綇澛贰?
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
97超碰婷婷五月天| 天天色99| 丰满少妇乱A片无码| 天堂久久婷婷| 色噜噜五月天| 99热色在线精品| 色噜噜伊人| 五月婷婷深深爱| 日韩啪啪视品| 五月天网址在线刘玥| 中文AV在线观看| 丁香六月天婷婷开心综合| 成人噜噜网| 99碰视频| 丁香激情五月少妇| 日韩AV在线免费| 丰满老熟妇BBBBB搡BBB| 五月伊人网| 99re热视频这里只精品5| 五月天无码视屏播放| 婷婷五月色情天| 亚洲有码在线视频| 久久99jiu9| 丁香综合| 色五月婷婷在线| 丁香婷婷啪啪| 97亚洲婷婷| 九九色热视频| 丁香五月婷婷成人网| 激情丁香婷婷五月天| 99热e| 五月色激情综合网| 色五月色综合| 色色色com| 99噜噜噜在线播放| 婷婷综合五月天| 婷婷综合网| 五月天狠狠色| 久99在线视频| 五月丁香花视频| 五月婷婷开心五月| 色99在线视频| 丁香五月婷婷激情蜜桃| m色激情网| 影音先锋激情网| 婷婷五月天激情文学小说| 991国产精选视频在线播放下载| 久久99免费视频| 色婷婷狠狠18yy| 亚洲视频在线观看| 婷婷在线视频| 色婷婷成人做爰A片免费看网站| 99精品在线| 久婷婷婷| 婷婷五月天影院| 六月婷婷啪啪| 欧美啪啪9| 66色在线日韩| 天堂综合久久| 九九re精品视频在线观看| 天天综合网在线| 九九99一区| 婷婷丁香五月天亚洲| 婷婷涩涩网| 久草久青福利| 婷婷5月天av| 久草久青福利| 99精品视频在线| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 深爱激情丁香| 九九99精品视频在线观看| 五月色综合| www.99在线| 香蕉婷婷| 五月婷婷之综合激情| 久久98| 色综合网址| 亚洲AV日韩无码| 99久久五月婷婷| 婷婷狠狠色| 99re思思热久久| 99av视频| 五月丁香综合网| 免费亚洲婷婷| 99日本在线| 色综合久久44| 五月色亚洲| 色丁香五月婷婷| 丁香五月激情综合| 日韩av手机在线观看| 激情五月丁香五月色| 精品久久久中文字幕大豆网推荐理由| 人人操人人妻| www.AV在线| 综合 蜜月 婷婷| 久久九九婷婷| 大香蕉啪啪| 在线视频你懂得| 日本综合久久| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 狠狠色狠狠色综合日日91| 99热日本| 日本VA视频| 狠狠色噜噜狠狠狠888| 97干综合网| 色综合久久88色综合天天99| 亚洲操操操| 综合色图区| 亚洲人妻av伦理| 无码视频国内精品久久久| 五月婷婷色在线| 内射 无码 伊人| 在线sebiav精品视频| 热996精品在线观看| 婷婷综合日本| 99热人人艹| 欧美精品狠狠色丁香婷婷| 思思热99er| 亚洲乱啪| 色人久久| 丁香六月视频| 综合激情站| 99精品在线观看视频| 九九成人| 六月丁香五月天| 天天插天天插| 丁香五月婷婷久久久| 激情五月,激情综合网| 五月天开心色情网| 色播五月丁香婷婷| 日日色综合| 91超碰在线播放| 99只有精品| 国产无套精品一区二区| 丁香五月WWW| 黄色成人网站在线播放| 丁香五月天人体| 99re这里只有精品在线观看| 五月丁香综合网| 激情另类综合| 免费超碰在线观看| www.无码com| 九九色图| 五月天色综合服务平台| 五月丁香六月婷婷姐| 超碰人人操人人干| 99在线精品免费视频| 人人操碰| 色性综合| 婷婷五月六月丁香综合| 综激情网| 激情内射人妻1区2区3区| 成片免费观看大全| 婷婷色综合| 成人欧美一区二区三区在线观看| 色播五月婷婷五月| 九九伊人网| 精品一二三区久久AAA片| 人人操人| 九九色精品| 五月婷婷 六月丁香| 啄木鸟丝袜美女福利视频| 婷婷综合视频| www.婷婷| 色婷婷玖玖影院| 九九亚洲视频| 亚洲天天综合| 婷婷丁香五月激情| WWW.HENHENL.| 天天爽在线视频| www.五月天。com| 桃色五月天| 成功精品影院| 久久一操| 第二色AⅤ| 99re鈥哸鈥唙| 六月丁丁香| 97婷婷五月丁香| 亚洲中文字幕AV| 天天做天天爰天天爽天天无遮挡| 开心激情婷婷| 青草视频在线观看视频| 婷婷激情人妻| 美女激情婷婷| 成人婷99最新| 五月天婷婷综合色| 五月婷色色| A A色色| 久久综合丁香| 亚洲岛国电影| 五月婷婷深深的爱| 久热A| 日韩成人综合网| 婷婷色影音天| 国产亚洲在线观看| 操人妻视频91| 五月综合久久| 任你日视频| 欧美日本一区二区三区| 久色资源| 光棍影院日韩精品| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 婷婷九九| www狠狠| 超碰人人超碰| 影音先锋男士资源网一区| 久久HD| 色五月成人在线| 日韩综合天堂| www.久久色.com| 婷婷伊在线| 色色色色热| 久久五月综合| 男人天堂99| www色五月天| 99re免费精品视频| 色婷婷亚洲综合av| 婷婷伊人激情婷婷| 亚洲欧美婷婷五月色综合| 婷婷中文综合网| 丁香五月天在线视频| 99久久激情视频| 丁香婷婷久久| 婷婷激情九月| 婷婷五月丁香基地| 五月开心播播网| 九九久久五月天| 五月丁香欧美在线| 少妇被下春药玩弄A片| 啪啪综合| 亚洲国产精品VA在线看黑人| 97luluse| 五月天激情播播网| 久久久五月五丁香| 国产黄色av| 五月丁香六月激情综合啪啪| 人妻无码精品一区| 99九九热视频| 中文字幕乱轮| 四季8848精品成人免费网站| 第四色色六月色综合| 26uuu丁香婷婷五月| 丁香激情综合| 婷婷五月永远18免费久久久| 色五月天综合网| 婷婷玖玖丁香| 天天爽日日爽夜夜爽| 噼里啪啦在线观看免费完整版视频| 五月丁香黄色| 丁香桃色网| 91无码一区人妻A片蜜| 深爱激情中文五月天av| 五月婷啪啪| 成人AV片播放| 无码G高清天| 欧美色图天堂网| 九九色天堂| 五月综合激情视频| 风流少妇A片一区二区蜜桃| 亚洲色综合| 日本狠狠色| 天天色中文字幕女优AV| 日韩一区二区三区无码| 99热在线播放| 婷婷射综合| 五月的色婷婷高潮| 性爱技巧五月| 久色五月婷婷综合| 国产全是老熟女太爽了| 丁香香五月激情免费视频| 国产免费一区二区三州老师F1F1| 婷婷久久伊人| 天天五月天综合网址| 婷婷婷婷婷婷婷婷婷婷丁香| 五月永久激情| 无码人妻少妇色欲AV一区二区| 久久狠狠欧美| 色色五月婷| 另类视在线| www,天天干| 丁香五月婷婷图片综合| 丁香五月综合在线播放 | 六月激情综合| 久热re在线视频| 激情婷婷综合五月少妇| 夜色热久| 色人妻五月| 国产一级片色色| 国产夫妻操逼内射视频| 婷婷五月影院| 五月天合网| 天天狠狠夜夜狠狠2023| www。五月天激情| 九月激情综合| 久久总和99| WWW.17C亚洲精品| 色婷婷亚洲在线观看| 五月天婷婷在线播放免费| 色五月综合激情网| 伊人色综在线| 免費观看aV在线网址| 色婷婷五月综合在线| 无码激情AAAAA片-区区| 狠狠色五月激情| 亚洲激情另类| 精品视频这里只有精品| 婷婷播5月| 伊人网色婷婷五月天| 三级成人网站| 97超碰,人人舔,人人操,人人摸| 久久五月网| 国产乱人偷精品人妻A片| 99rewww| 丁香激情五月| 99re思思精品视频在线观看| 欧美美女视频| 色综合性视频| 久久婷婷免费| 色狠狠综合入口| 亚洲精品另类| 婷婷五月天在线视频网站| 99色久| 能看的AV| 久久人人九九| 成人网址在线观看| 久久多色| 六月综合婷婷开心伊人| 99热免费精品热久久66| 国产精品涩涩涩视频网站| 怕怕av| 婷婷久久综合| 丁香五月天五码婷婷| 丁香五月花影院| 亚洲一区二区无码蜜乳av| 久久XX日本综合| 六月丁香社区| 亚洲婷婷激情综合激情999精品| 殴美日韩成人| 婷婷丁香久久| 五月婷婷影院| 婷激情五月| 婷婷五月天av| 亭亭色色五月天| 色婷婷狠狠爱| 久er7久热| 六月丁香网| 丁香六月婷婷高清| WWW色色色COM| 久久久久激情网| 亚洲第一成人无码A片| 五月丁香色色网| 丁香六月AV| 777精品久无码人妻蜜桃| 五月丁香婷婷啪啪综合网| 超碰妻人人| 亚洲欧美999| 欧美亚洲成人在线| 日韩九区| 99热99热在线观看| 久99久视频精品| 婷婷五月天小说网| 超级碰碰碰久久网站视频| 99爱视频在线观看| 色色婷婷五月天| 99久热| 怡红院精品视频久久久久久久久| 丁香五月www| 五月婷婷,狠狠操| 天天综合五月| 大香蕉综合| 狠狠色丁香婷婷综合久久97AV| 涩丁香91| 婷婷久久久久| 激情五月天婷婷图| 亚洲妇女熟BBW| 色婷婷六月天在线| 9热精品| 99性爱| 六月婷婷影院| 亚洲一级AV在线免费播放| 日韩九区| 啪啪啪五月天| 碰碰碰91| 丁香五月激情综合| 久热这里只有精品66| 欧美婷婷综合网| av网址在线| 99成人精品六| 五月激情婷婷四射| 色五月色五天色情网| 99无码免费视频| 免费色婷婷| 婷婷五月在线视频| 深爱五月激情网| 六月五月天婷婷涩播在线| 婷婷五月六月丁香| 久久99操| 亚洲欧洲中文日韩久久AV乱码| 色婷婷五月综合网| 成人在线日韩欧美| 另类天堂| 五月天婷婷色综合| 久久99精品视频| 无码91中文字幕| 色播五月婷婷| 国产色色在线| 亚洲天堂碰碰婷婷| www.五月.com| 激情综合网 激情五月天| 操逼巨乳91| 日日干日日| 99热这里只有精品最新地址获取| 色婷婷中文在线| 国产婷婷色综合AV蜜臀AV| 色婷婷成人| 色色五月婷婷| 亚州第一黄网| 120分钟婬片免费看| wwccc久久久| 激情国产综合| 97操碰| 久色婷婷200| 开心五月六月婷婷| 96色婷婷| 欧美成人精品三区综合A片| 丰满熟女人妻一区二区三| 这里只有精品亚洲| 97ai婷婷| 婷婷综合网站| 婷婷激情综合| 亚洲婷婷月丁香五月| 日本情色一区二区| 99精品久久| 99热免费在线| 亚洲婷婷月丁香五月| www.久久婷婷| 农村熟妇高潮精品A片| 99ri精品在线| 白天AV月月| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 99久久性爱| 另类小说五月天综合网| 免费亚洲婷婷中文字幕| 久草婷妨| 色婷婷亚洲婷婷| 婷婷六月丁| 丁香色六月婷婷| 久艹伊| 欧美交换配乱吟粗大25P| 这里只有精品视频在线| 99热99免费| 丁香九九九九| 新激情婷婷| 五月婷婷激情久久| 俺去也综合| 小视频在线亚洲| 婷婷五月综合啪| 精品亚洲国产成AV人片传媒| 婷婷色情网| 天天干天天爽天天爽| 五月丁香香蕉| 丁香五月www| 国产乱子轮XXX农村| av在线免费网站| WWW.桔色成人.COM| 色情综合网| 婷婷激情啪啪| A片试看120分钟做受图片| 人妻综合网| 婷婷日日夜夜| 夜夜做天天爽| 青青.com| 国产AV不卡福利| 91性交在线播放| 激情www| 五月婷婷之综合激情| 色婷婷激情小说网| 天天肏视频| 日本少妇AA一级特黄大片| 亚洲妇女熟BBW| 99爱爱| 五月天涩涩| 热的国产,热的综合,热的有码| 熟女网站久久| 91av色色乱视频| 噼里啪啦在线观看免费完整版视频| 99热亚洲| 婷婷六月综合激情| 五月丁香六月婷综合成人综合| 欧美日韩成人在线网站| 色爱爱综合网| 五月开心播播网| 日日噜噜夜夜狠狠久久丁香六月| 婷婷久久丁香五月| 婷婷性爱五月天| 色婷婷影音| 伍月婷丁香婷| 色五月婷婷中文字幕| 久久色9| 五月开心播播网| 五月天色五月| 婷婷五月天av| 激情噜噜噜| 丁香五月婷婷色| 五月婷婷伊人网| 91婷婷丁香五月天免费视频网站| 99热久草| 丁香五月综合首页| 91操女| 日日干四虎| 五月丁香婷婷综合网| 日日.c| 五月丁香六月情婷婷久久| 婷婷五月丁香六月伊人网| 99精品在线观看视频| 97AV人人插人人操| 爱iii做iiii日日| 亚洲中字AV电影在线网站| 五月婷婷六月丁香综合在线| 99激情在线| 色五月婷婷小说亚洲中文字幕组| 狠色色狠网| 第四色婷婷最爱| 五月天婷婷一起草| 99久热在线精品| 久久网日本| 99综合自拍| 99九九免费精品| 影音先锋男士资源网一区| 成人.在线日韩| 五月天婷婷成人网| 色婷婷基地| 色偷偷五月天| 激情小说视频图片| 激情五月婷婷| 黄网在线免费观看| 日本操碰碰| 亚洲综合五月| 久久五月天综合| 久久精热| 丁香婷婷五月| rr天天操| 婷婷狠狠操| 五月丁香婷爱在线| 丁香五月天啪啪激情综和网| 伊人婷婷五月| A A色色| 成人必爱视| 开心婷婷五月激情网小说| 开心五月六月婷婷| 性色欲情 网站| 久久xxxx| 亚洲色色色色色色色色色| 亚洲永久免费| 色色色999| 99爱爱| 婷婷色五月激情强奸四射| 五月天婷综合| 91精品综合久久婷婷九色| 九色在线观看91av| 人人操人人爽成人AV| 九九超碰人人| av在线免费网站| 日韩欧美一道四区中文字幕| 影音先锋天天日| 在线91日韩| 男人視頻站| 婷婷九色| 中文字幕AV网址| 久久久精品AV| 五月丁香激情啪啪| 五月婷丁香花| 小视频aaa久久久| 婷婷黄色五月天在线视频| 妻久久久久| 美女要搞搞天天搞搞搞网站| 婷婷丁香亚洲五月天| 99热大片| 国产精品五月天婷婷| 久久五月综合| 网站免费一站二站| 任你日视频| 婷婷午夜| 婷婷五月激情中文字幕| 激情99| 欧美性做爰大片免费看办公室| 538在线精品| 超碰天堂网| 色综合综合综合| 五月丁香狠狠爱婷婷综合| 碰超在线九色| 秋霞日本免费毛片A片| 色激情五月| 亚洲综合色色| 五月丁香综合网色欲| 天天狠天天狠| 日韩六十路91性交电影| 开心五月深爱五月丁香五月激情五月| 韩国激情五月天综合网| 久久婷婷五月综合色丁香| 99在线观看视频| 97色色色| 青青久在线视频免费观看| 欧美日韩成人h| 丁香五月婷综合| 91打屁股视频网站| 五月丁香啪啪| 激情五月综亚网| 夜夜操天天爽| 婷婷五月在线视频| 天天干天天干天天干天天干天| 色婷婷电影网| 天海翼中文字幕高| 欧美性爱专区| 97碰人人操| 九月婷婷综合| 99久久思思| 美女妹子后射视频网站在线观看| 婷婷六月天| 色色射| 久久精品99国产精品日本| 九久久婷婷| 丁香五月成人自拍| 久热一本| 丁香六月色情| 婷婷激情五月色综合| 九九色大香蕉| 91色婷婷综合久久中文字幕二区| 七月丁香五月婷婷在线| 九九视屏| 东京热免费视频| 日韩99色| 99热无码首页| 大香蕉久操| 亚洲无AV在线中文字幕| 97爱综合| 99热永久在线观看| 五月天综合区| 狠狠色五月天| 婷婷色播婷婷| 91丨九色丨老熟女激情| 91久久综合亚洲鲁鲁五月天| 色天天久婷婷| www.婷婷五月天.com| 丁香五月欧美激情| 国产偷人爽久久久久久老妇APP| 色婷婷久久9.com| 婷婷99中文字幕| 五月丁香五月丁香| 亭亭五月色男人| www,com,五月色色| 99热免费| 精品自拍97| 丁香五月欧美色综合| 婷婷五月黄色激情在线| 婷婷五月天狠狠搞干| 97婷婷丁香| 国自产拍偷拍精品啪啪一区二区| 婷婷丁香久久网| 成人亚洲精品| 色婷婷色情| 狼人婷婷综合| 五月丁香六月| 69综合在线| 狠狠香婷婷五月| 开心色五月天久久久久久久| 狠狠干夜夜干| 人操91在线| 噜噜噜噜噜久| 五月婷婷婷自由综合| 丁香五月激情综合| 国产肥白大熟妇BBBB视频| 激情婷婷五月综合| 五月天婷婷综合久久| 九色色| 激情九月婷婷| 蒲京久久无码视频| aⅤ79成人片| 丁香婷婷成人在线播放| 激情五月天婷婷| 日比视频91| 无码se| 99在线精品免费视频| www.五月天婷婷| 综合久久8| 九九综合精品| 欧美丁香五月| 亚洲1区| 五月激情婷婷国产精品久久久久久| 热久久成人| www.婷婷六月天| 久草热8精品视频在线观看| 九九热在线视频观看免费10| 夜夜涩涩涩| 天天操综合网| 日韩国产在线精品| 色999;丁香五月| 色日本网| 99在线观看| www.sebowuyue| 插插五月天| 国产成人综合网| 在线综合啪| 丁香五月AV在线| 亚洲丁香五月天视频| 欧美色综合天天久久综合精品 | 色婷婷中文| 99久在线精品99re8| 国产VA亚洲VA96| 五月色综合| 色五月自偷自拍婷婷婷婷| 婷婷丁香九月| 99r这里只有精品在线观看| 午夜色婷婷| 艹天天射| 久久人妻高清中文| 欧美在线干| 激情九月天天天天婷婷| 天天综合亚洲综合| 天天拍天天操| 国产精品视频免费看| 五月之婷婷| 婷婷激情五月| 婷婷五月天久久| 色99网| 九九热在线视频| 丁香婷婷六月天| 亚洲精品午夜国产va久久成人| 少妇高潮呻吟A片免费看软件 | 色婷小说| 在线色五月婷婷| 欧美精品999| AV中文字幕夜夜操b天天摸bb| 国产婷婷五月中文字幕高清| 亚洲综合成人网| 夜色爱爱亚洲| 五月天婷婷伊人| 六月丁香激情网| 五月天婷婷亚洲| 六月丁香好婷婷| 色综合色色色| 久久久性爱网| 五月综合缴情网| 亚洲五月婷| 久久资源网五月婷| 五月激情六月丁香| 无码日本精品XXXXXXXXX| 色婷婷导航| 综合啪啪| 97丁香视频| 噜噜噜精品欧美成人在线观看| 91九色首页| www久久99| 五月色综合网| 婷婷不卡基地| 翔田千里无码| 丁香色五月 97干| 超碰成人在线观看| 婷婷色在线播放| 亚洲123区高清入口| xxx日本东京热| 久久色情| 五月丁香亚洲校园欧美| 精品婷婷| 欧洲一区二区| www.五月天| 五月丁香亭亭激情操逼网| 色婷婷国色天香综合| 97操在线视频| 欧美日韩成人在线观看| 婷婷五月丁香六月综合网| 日韩精品一区二区三区,四区,五区视频| 激情五月丁香综合蜜桃| 亚洲国产99| 成人 在线 日韩| 蜜臀99精品| 色情五月| 玖玖福利视频资源| 中文字幕日本最新乱码视频| 色9色| 婷婷在线精品| 永久的网站AAAA| 九九热免费| 玖玖在线视| 天天日天天摸| 欧美在线视频9| 亚洲欧美999| 在线中文字幕免费视频| 色区域网站视频| 久久精品无码一区| 开心五月综合激情综合五月| 国产精品日本一区二区在线播放| 激情色中文| 天天插天天爽| 色狠狠五月天| 色综合com| 婷婷丁香五月麻豆| 色婷婷六月天| www.91.com黄| 99ri在线视频| 久久98| 亚洲色啪| 丁香五月影院| 日本va欧美va国产激情| Av大香蕉| 狠狠操狠狠爱| 伊人影音无码一区二区三区| 五月丁香六月在线| 色婷婷WWW| 丁香六月婷婷| 99热这是里只有精品| 婷婷五月天影院| 久久无码激情视频| 丁香五月播播| 思思色播| 日本色婷婷| 思思热闹这里只有精品| 99视频在线精品| 婷婷久久午夜网| 午夜丁香婷婷| 激情综合4月| 疯狂做受XXXX高潮A片| 婷婷丁香五月天色区| 色一情一乱一伦一区二区三区| 五月丁香直播| 天天狠狠综合精区| 婷婷五月天激情五月天| 在线日韩av| 婷婷五月天网| 久久久.COM| 亚洲色啪| 丁香五月自拍| 怡红院AV亚洲一区二区三区H| www.爱操com.| www.金莲av| 婷婷日日夜夜| 91久久精品视频| 99热这里只有精| 六月婷久久| 久操婷婷| 婷婷五月成人色综合| 婷婷五月激情五月激情| 五月天无码| 亚洲国产精品SUV| 五月天激情无码高清| 亚洲精品另类| 婷婷丁香六月| 久热91| 人妻AV在线| 极品人妻videosss人妻| 久久九九激情五月天| 色色色成人网| 狠狠综合区| 国产精品久久..4399| 久久亚洲A| 久久小说网| 婷婷精品性性性性性性性| 亚洲人成网站999久久久综合| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 免费超碰在线| 色色五月天丁香| 五月婷婷综合热| 亚洲三级无码| 伊人五月综合网| 亚洲综合婷婷五月| 色五月婷婷在线| www,五月天激情| 午夜日韩久久久网站| 99九九在线| 九热在线这里有精品6| 久婷婷视平| 人人操AV| 激情五月婷婷综合| 成熟妇人A片免费看网站| 亚洲五月色| 色99热| 婷婷五月天激情网| 夜夜夜叫天天天做| 91av视频在线观看最新网址| 色热久| 成人超碰AV| 国产av第一专区| 99综合网| 欧洲永久精品| 秋霞av吧| 天天插天天插| 九九蜜臀精品| 97综合视频在线| www.久久爱.com| 五月色丁香综合| 色欲五月丁香| 91人操人人人操人| 99在线免费视| 色99综合色88| 激情丁香五月| 五月丁香色婷婷婷基地| 狠狠爱五月婷婷综合六月| 热99精品视频五月| 日韩欧美一区二区三区四区| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 婷婷五月色| 俺也去在线视频| 综合久久影院| 亚洲国产精品二二三三区| 久久机热/这里只有精品| 色噜噜综合网| 久久大香蕉丁香| 精品人妻伦一二三区久久| 丁香五月香蕉在线| 午夜AV网| 91久久久久久久久久久| 情欲综合网| 久久天堂色| 色欧洲| 丁香婷婷在线| 人妻激情在线| 国产精品久久久久久久久久| 综合激情站| AV在线大香蕉| www.91av.com| 婷婷激情九月| 婷婷狠狠五月综合| 婷婷五月天精品| 五月丁香婷婷综合| 俺去啦综合网| 九九综合伊人| 久久婷婷青青草| 99九九99九九九视频精彩| 99热久久最新地址| 激情久久久久久久久| 能看的AV| 丁香五月电影| 成人va在线观看视频| 婷婷五月天性爱视频| 99久视频| 综合激情站| 国产xxxxx在线观看| 婷婷丁香六月| 天天综合网~91综合网| 国产精产国品一二三在观看| 五月天亚洲色| 激情深愛五月視頻| 丁香六月欧美| 色色五月天婷婷| 色情成人五月天| 婷婷五月天激情综合| 六月婷婷七月丁香| 丁香五月五月婷婷欧美大香蕉| 欧美在线视频免费播放| 天天模,夜夜模夜夜爽| 92国产福利| 狠狠干最新地址| 九色视频91疯狂| 夜夜操天天爽| 欧美天天爽| 91色欲综合| 色噜噜婷婷| 99热免费| 五月丁香拍拍激情综合| 天天搞天天色综合| 天天日色情| 婷婷激情六月| 中文字幕性爱视频| 久久这里只有精品22| 久久久国产精品黄毛片| www.婷婷六月天| 99爱免费视频| 五月天婷婷一起草| 夜色综合网| 成人超碰网| 欧美人妻一区二区| 欧美25p| 精品人妻伦| 日本97在线视频| 91干婷婷| 六月婷婷综合| 亚洲网站999| 99这里是精品| 熟女重口味αV| 久热黄色| www.91AV.com| 无码免费人妻A片AAA毛片西瓜| 亚洲AV网站| 开心激情五月天网| 五月天激情AAAA| 五月丁香六月激情综合网| 射久久丁香五月| 天天操天天干天天射| 99人人干| 91久久五月天| 国产玖玖资源| 少妇婷婷五月天| 亚洲1区| 七七色色综合| 婷婷丁香久久网| 欧洲色区| 五月婷婷啪啪| 激情五月婷黄版| 天天干com| 丁香五月成人论坛| 六月丁香婷| 婷婷成人AV| 天天久久婷婷| 国产日产亚洲系列最新| 色五月激情五月开心五月| 欧美久久网| 婷婷五月天免费视频| 婷婷六月中文字幕| 色婷婷色五月另类综合| 色婷婷狠| 伊人久久大香线蕉综合网站| 五月婷婷综合在线亚洲视频| 中文字幕在线观看视频www| 国产成人av在线播放| 日本成人噜噜噜| 狠婷婷五月| 婷色成人| 婷五月天天| 182TV大香蕉| 黄色AAAAAAA| 九九操屄| 色婷婷成人做爰A片免费看网站| av九九| 久久精彩视频| 激情五月丁香六月综合AVXXXX| 九九婷婷五月天影视| 深爱五月激情网| 99热99在线| 五月天婷综合| 大香蕉丁香| 97碰碰叉| 婷婷丁香综合网| 国产看真人毛片爱做A片| 开心深爱激情网| 亚洲av网站| 99热99美国在线观看| 婷婷成年人免费视频| 色青五月天| 五月婷婷少妇之| 美女五月激情| 综合久久婷婷| 欧美久久九九| 国产婷伊人| 少妇高潮呻吟A片免费看软件 | 天天肏夜夜肏| 在线观看亚洲视频影院| 五月婷婷丁香六月| 亚洲超级碰| 九九热婷婷| 色婷婷精品视频| www.99热这里精品| 综合超碰熟| 狠狠狠狠青草| 婷婷五月天大香蕉在线视频观看| 99九九精品视频推荐| 色五月婷婷在线观看第一页舔| 1000部毛片A片免费观看| 五月丁香婷婷综合网| 9l视频自拍9l九色成人| 九九九热精品| 天堂久久精品| Av九九| 国产激情av| 亚洲激情综合| 久久99热免费最新版| 九九这里有精品| 色色色色色网| 99色热视频在线| 久久婷婷五月天蜜桃| 五月丁香六月婷婷欧美综合| 97 A I色色| 五月婷激情| 色综合久久五月天| 九九视频在线| 五月婷婷激情| 婷婷五月色激情欧美激情| 婷婷五月天视频| 色五月婷婷影院| 91碰碰视频| 色综合综合色| 97在线精品| 天天精品视频免费观看| 精品人妻一区| 色五月首页| 国产精品美女| 激情五月天婷婷| 欧美性爱五月天| 深爱五月激情五月| 精品久久99码| 99热在线观看| 亚洲欧洲中文日韩久久AV乱码| 日韩av手机在线观看| 五月停视频天堂| 99久久高清视频| 97色操| 97人人操在线| 久久婷婷六月| 久久奄也去色色网站| 婷婷五月噜噜| 丁香六月欧美| 99乱视频| 99热.com| 久久久网站| 国产精品久久久久9999小说| 91狼友视频网页更新| 亚洲成人无码片| 色色色在线| 丁香五月婷婷狠狠色| 日本在线视频手机播放五月婷| 天天操天天日天天爽| 人人爱人人摸人人澡| 五月丁香综合| 九九性视频| 噼里啪啦在线观看免费完整版视频| 丁香性爱在线视频| 狠狠干狠狠操狠狠爱| 久久丝袜婷婷| 天天操天天日天天爱| se99在线| 激情五月视频在线婷婷| 综合网啪| 成人丁香五月| 无遮挡国产高潮视频免费观看| 色婷婷中文| 亚洲av无码精品色午夜| 久久综合性| 五月天成人在线视频丁香| 99久久免费精品| 日韩黄色电影| 天天爱天天做天天操| 国产伦亲子伦亲子视频观看| 婷婷综合干| 国产综合视频婷婷| 丁香五月婷婷综合视频| 特级片神马电影| 久久婷婷五月综合啪| 五月色亚洲| 超碰亚洲欧美| 精品亚洲日韩99欧美片| 激情色播| 婷婷五月天亚洲激情戏精品| 综合激情视频| 97福利视频| 青柠影视免费高清电视剧 | 国产成人精品123区免费视频 | 色婷婷色99国产综合精品| 丁香婷婷久久| AA片在线观看视频在线播放| 国产色香蕉精品五夜婷| 91色色色| 五月天自拍视频| 五月天网站免费欧美| 99色热| 色综合久久之分久久| 婷五月天六| 激情五月天在线观看婷婷| 只有久久精品免费| 久久亚洲天堂| 九九99精品视频在线观看| 九月停停| av网址在线| 亚洲九九九九| 66色在线日韩| 中文字幕在线日亚洲9| 色吧网综合| 日韩久热| 婷婷五月天伊人网在线观看视频| 丁香五月天激情综合| 97人人超| 婷婷五月娱乐在线| 涩五月婷婷| 综合图区激情| 超碰在线视屏| 刘玥av在线| 日韩黄色网络| 情欲综合网| 色婷婷五月天在线观看| 1024人妻| 精品导航在线x不卡| 99亚色色色| 色丁香影院| 激情综合网五月天| 97涩婷婷婷婷基地| 久久婷五月天| 懂色AⅤ| 国产成人网址| 国产精女同一区二区三区久 | 五月丁香六月情婷婷久久| 色女人久久| 丰满少妇乱A片无码| AV成人在线播放| 六月色狠狠色| 4438激情网| 人与禽A片啪啪| 182TV亚洲| 六月丁香婷婷尤物| 丁香蜜臀黄色婷婷五月天| 色五月婷婷久久| av国产精品| 日韩xx在线| 这里只有精品,日韩视频| 婷婷五月六月丁香| 天天爱天天操| 玖玖精品婷婷| 激情五月六月婷婷综合啪啪| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 视频这里只有精品16| 久99在线视频| 色一色综合| 91爱操| 99精品22| 九九在线精品| 四射综合网| 少妇激情五月婷婷| 久久五月天色婷婷| 婷婷五月花| 无码激情AAAAA片-区区| 丁香五月综合激情啪啪| 九九视频在线免费视频| 五月丁香综合激情| 9久热视频| 久久99热只有精品| 婷婷五月激情小说| 亚洲精品一区无码A片| 大香蕉久久久| 97五月天婷婷| 色五月五月婷婷| 成人在线观看一区| 丁香五月天婷婷久久| 婷婷中文无码| 中文AⅤ大全| 视频综合网| 婷婷五月色| 2025超碰| 天天激情5月天亚洲| 99热激情| 国产做爰视频免费播放| 精品激情| 久久伊人五月天| 国产精品扒开腿做爽爽爽A片唱戏 青青草国产亚洲精品久久 | 天海翼中文字幕高| 色五月综合网| 26uuu在线观看| 51精品国自产在线| 日韩成人免费电影| 天天色天天日| 国产性av| 五月婷婷干干干| 色色日本欧美| 果冻传媒A片一二三区| 五月天激日本色情在线| 91九色中文字幕女在线观看| 1级欧美日韩| 小视频aaa久久久| 女婷久久| 婷香狠狠爱五月| 五月欧美色色五月| 大香蕉五月婷婷| 久久99热这里只有精品| 色欲日日躁| 噜综合| 婷婷中文无码| 久久天堂婷婷五月| 九九精品丁香花| 免费无码毛片一区二区A片| 国产成人精品亚洲线观看|