欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

MLoRA多任務(wù)微調(diào)實(shí)戰(zhàn):從LoRA權(quán)重混亂到共享低秩頭的高效方案

MLoRA多任務(wù)微調(diào)實(shí)戰(zhàn):從LoRA權(quán)重混亂到共享低秩頭的高效方案 1. 我為什么最后選了 MLoRA從一份亂到崩潰的任務(wù)權(quán)重開始先交代一下背景。上個(gè)月做一個(gè)多領(lǐng)域大模型微調(diào)項(xiàng)目模型底座固定下游要同時(shí)支持客服意圖識別、合同關(guān)鍵信息抽取、摘要生成和三版風(fēng)格不同的企業(yè)話術(shù)生成。當(dāng)時(shí)圖省事直接給每個(gè)任務(wù)單獨(dú)訓(xùn)了一套 LoRA然后通過簡單的 route 層在推理時(shí)切換。任務(wù)少的時(shí)候沒問題任務(wù)一多就露餡了不同 LoRA 之間其實(shí)共享了大量公共知識但每套權(quán)重都把完整的底座語義空間復(fù)制了一遍6 個(gè)任務(wù)跑完光 checkpoint 就占了 40 多 GB朋友出差期間我改了一版數(shù)據(jù)把其中兩個(gè) LoRA 搞亂了回滾來來回回折騰了一整天。之后我把目光轉(zhuǎn)向多頭低秩適配也就是 MLoRA。它從設(shè)計(jì)上就不是“一個(gè)任務(wù)一條完整 LoRA”的思路而是在一個(gè)共享底座上掛多個(gè)低秩子空間每個(gè)子空間負(fù)責(zé)一部分任務(wù)能力訓(xùn)練時(shí)梯度按路由走推理時(shí)只激活需要的頭。這樣既保留了 LoRA 省顯存的優(yōu)點(diǎn)又不需要為了加一個(gè)任務(wù)去把整份 LoRA 權(quán)重重新拷貝一遍。如果你跟我一樣已經(jīng)用 LoRA 微調(diào)跑順了好幾個(gè)業(yè)務(wù)場景但對“任務(wù)之間互相打架”“權(quán)重版本管理麻煩”這兩件事有切膚之痛那么 MLoRA 就很值得了解一下。這篇文章不會去復(fù)讀論文里的數(shù)學(xué)推導(dǎo)只講我實(shí)際落地過程中覺得最關(guān)鍵的設(shè)計(jì)邏輯、踩過的坑和最終結(jié)果。文里涉及的實(shí)現(xiàn)細(xì)節(jié)一部分來自公開論文加我自己的復(fù)現(xiàn)調(diào)整論文里沒寫清楚的地方我會按常規(guī)做法說明并注明哪些是行業(yè)通用方案、哪些是我個(gè)人的取舍。2. 為什么單 LoRA 在多任務(wù)場景下越來越別扭2.1 顯存省了維護(hù)成本沒省單 LoRA 微調(diào)最大的功勞是讓“消費(fèi)級顯卡也能跑大模型微調(diào)”這件事變成現(xiàn)實(shí)。7B 模型全參數(shù)微調(diào)一般要 70GB 以上的顯存LoRA 把這壓到 20GB 左右。代價(jià)是每一個(gè)新任務(wù)都要重新產(chǎn)出一份任務(wù)專屬權(quán)重。如果任務(wù)之間毫無交集這當(dāng)然無所謂但實(shí)際業(yè)務(wù)里很多任務(wù)來自同一個(gè)底座能力比如客服話術(shù)和合同摘要都要先做語義理解指令數(shù)據(jù)有重疊標(biāo)簽分布也有重疊我卻為每個(gè)任務(wù)都保存了一份“完整”的低秩適配結(jié)果等于把重復(fù)的知識冗余存了好多遍。更麻煩的是訓(xùn)練流程。4 個(gè)任務(wù)分 4 輪訓(xùn)練每輪都要重新加載底座和數(shù)據(jù)處理管線算力浪費(fèi)倒在其次真正難受的是評估環(huán)節(jié)。前幾天訓(xùn)好的客服 LoRA可能因?yàn)楹笠粋€(gè)任務(wù)的訓(xùn)練過程動了公共數(shù)據(jù)緩存的預(yù)處理邏輯測試結(jié)果出現(xiàn)波動你很難判斷到底是數(shù)據(jù)變了、隨機(jī)種子變了還是真的發(fā)生了災(zāi)難性遺忘。2.2 任務(wù)一多路由層就變成了定時(shí)炸彈常見的多 LoRA 部署方案是訓(xùn)練多個(gè)適配器加一個(gè)路由。但這個(gè)路由只能做粗粒度分流解決不了“同一個(gè) prompt 既涉及意圖識別又涉及情緒安撫”這種重疊場景。我在實(shí)測中遇到過同樣的輸入意圖 LoRA 認(rèn)為是退貨咨詢話術(shù) LoRA 認(rèn)為是安撫情緒最后路由按照優(yōu)先級硬選一個(gè)效果完全靠運(yùn)氣。而且多個(gè) LoRA 之間沒有交互訓(xùn)練時(shí)各訓(xùn)各的無法共享不同任務(wù)都能用到的泛化特征。這種“先分裂、再拼接”的思路本質(zhì)上還是在用系統(tǒng)工程的手段解決模型能力問題。任務(wù)邊界清晰的場景勉強(qiáng)能用邊界一模糊就只能聽天由命。MLoRA 之所以吸引我就是因?yàn)樗选岸鄠€(gè)能力”放在同一套模型參數(shù)框架內(nèi)去組織而不是在模型外堆放一堆互不通信的小副本。這一點(diǎn)在下面的第 4 節(jié)會細(xì)講。3. MLoRA 和它的一眾近親到底差在哪3.1 別再把 MLoRA 理解成“一堆 LoRA 的集合”討論 MLoRA 之前先避免一個(gè)常見誤區(qū)它并不是“把很多 LoRA 塞進(jìn)一個(gè)文件夾”。目前社區(qū)里跟 LoRA 相關(guān)的多任務(wù)方案大概分三類最樸素的多 LoRA每個(gè)任務(wù)一套獨(dú)立低秩矩陣運(yùn)行時(shí)用 Task ID 切換或動態(tài)加載。LoRA 合并/組合訓(xùn)練完多個(gè) LoRA 后直接對權(quán)重做算術(shù)操作像任務(wù)向量一樣相加或相減。專家混合MoE把 FFN 層替換成多個(gè)專家網(wǎng)絡(luò)用門控網(wǎng)絡(luò)按 token 路由。MLoRA 嚴(yán)格來說更接近第一條和第三條的中間態(tài)結(jié)構(gòu)上仍然是“共享底座 多個(gè)低秩頭”沒有換掉主干網(wǎng)絡(luò)結(jié)構(gòu)也不需要在推理時(shí)重新加載整套權(quán)重。訓(xùn)練時(shí)門控會對輸入和任務(wù)條件做統(tǒng)一調(diào)度讓低秩子空間各司其職推理時(shí)你只需要給一個(gè)任務(wù)條件它就能在幾毫秒內(nèi)選中對應(yīng)的低秩路徑。有人會問這不就是 MoE 嗎區(qū)別在于MoE 一般替換的是 FFN 的中間層而 MLoRA 是給原有線性層加并行旁路不改變主干計(jì)算圖MoE 的門控通常走 token 粒度MLoRA 可以走任務(wù)粒度加 token 粒度的混合靈活性更高實(shí)現(xiàn)也更簡單。3.2 與普通 LoRA 訓(xùn)練的本質(zhì)區(qū)別普通 LoRA 訓(xùn)練目標(biāo)只有一個(gè)讓新增的低秩旁路去擬合當(dāng)前任務(wù)的分布。多任務(wù)微調(diào)時(shí)如果分多次訓(xùn)練后訓(xùn)練的任務(wù)會覆蓋前一個(gè)任務(wù)學(xué)到的分布如果把多個(gè) LoRA 合并再一起訓(xùn)練低秩矩陣之間又會互相稀釋。MLoRA 的做法是把這些旁路全都放在同一個(gè)優(yōu)化過程里靠路由區(qū)分樣本來自哪個(gè)任務(wù)共享底座只承擔(dān)“公共表示”部分的更新每個(gè)頭的矩陣只在自己對應(yīng)的任務(wù)數(shù)據(jù)上累積信息從而在優(yōu)化層面隔離了任務(wù)之間的干擾。不過這里說的“隔離”不是絕對隔離。如果門控允許某個(gè) token 同時(shí)激活多個(gè)頭那么多個(gè)頭的梯度就會同時(shí)作用到共享底座上。這本身是特性不是 bug但需要配合負(fù)載均衡否則高頻任務(wù)會持續(xù)污染低頻任務(wù)的頭。這個(gè)坑我放到第 4 節(jié)和第 6 節(jié)細(xì)說。先說一個(gè)重要的結(jié)論MLoRA 不是替代 LoRA 的方案而是“當(dāng)你有多個(gè) LoRA 需求時(shí)用一套框架替代 N 套獨(dú)立流程”的方案。任務(wù)只有一個(gè)的話老老實(shí)實(shí)用 LoRA 就好沒必要引入額外的路由邏輯。4. MLoRA 的機(jī)制拆解共享底座、低秩頭、路由三角色4.1 前向公式里藏著最核心的設(shè)計(jì)思想你可能在其他地方看到過類似寫法我這里用最容易理解的方式再捋一遍。假設(shè)原始預(yù)訓(xùn)練權(quán)重為 W0普通 LoRA 的前向計(jì)算可以寫成y W0x (B A) x其中 A 是 d × r 的輸入投影矩陣B 是 r × d 的輸出投影矩陣r 就是低秩維度。MLoRA 把后半部分?jǐn)U展為多條并行路徑再加上一個(gè)任務(wù)條件 t 和路由權(quán)重 gy W0x Σ_i g_i(t) · (B_i A_i) x其中 i 是任務(wù)編號g_i(t) 是路由函數(shù)對任務(wù) t 輸出的標(biāo)量權(quán)重。前向時(shí)并不是所有 i 都參與計(jì)算為了省顯存通常只取 top-1 或 top-2也就是每個(gè) token 最多激活兩個(gè)低秩頭。這樣一來參數(shù)總量雖然變大了但單次推理的計(jì)算量并不會隨任務(wù)數(shù)量線性增加。數(shù)學(xué)上很好理解如果 g_i(t) 在任務(wù) t 上只把 t 對應(yīng)的頭置為 1其他頭置為 0那公式就退化回多個(gè)獨(dú)立 LoRA。所以 MLoRA 的突破點(diǎn)全在 g_i(t) 怎么設(shè)計(jì)。4.2 門控與負(fù)載均衡為什么不能只讓頭部任務(wù)吃獨(dú)食如果 g_i(t) 完全由任務(wù) ID 決定那么 6 個(gè)任務(wù)就是 6 個(gè)互不相干的分區(qū)和原來部署 6 個(gè)獨(dú)立 LoRA 的區(qū)別就不大了。MLoRA 的優(yōu)勢在于允許門控關(guān)注的不是“你是哪個(gè)任務(wù)”而是“這個(gè) token 更適合走哪條低秩子空間”。所以實(shí)際實(shí)現(xiàn)里門控輸入通常拼接了任務(wù) ID 嵌入和當(dāng)前 token 的 hidden state這樣模型能根據(jù)語義做細(xì)粒度選擇。很多復(fù)現(xiàn)項(xiàng)目忽略的是負(fù)載均衡損失。沒有負(fù)載均衡時(shí)門控會偏向高頻任務(wù)的頭低頻任務(wù)哪怕有專屬頭也可能一個(gè) token 都分不到訓(xùn)完等于白訓(xùn)。我通常會在輔助損失里加一個(gè) λ 控制項(xiàng)懲罰各頭被選中的概率與均等分布之間的 KL 距離。論文里常見的是 Switch Transformer 風(fēng)格的負(fù)載均衡損失直接用任務(wù)頻率作為先驗(yàn)讓各頭的使用率盡量平滑。下面是我常用的一套負(fù)載均衡損失計(jì)算邏輯偽代碼def load_balance_loss(gating_probs, num_heads, target_probsNone): # gating_probs: [batch * seq_len, num_heads] mean_probs gating_probs.mean(dim0) # 每個(gè)頭被的平均激活概率 if target_probs is None: target_probs torch.ones_like(mean_probs) / num_heads # 計(jì)算 mean_probs 與 target_probs 的 KL 散度 kl F.kl_div(mean_probs.log(), target_probs, reductionbatchmean) return klλ 取 0.01 到 0.1 之間比較合適。我試過取 0.5結(jié)果是模型為了滿足均衡直接犧牲了任務(wù)精度得不償失。4.3 可訓(xùn)練矩陣的初始化細(xì)節(jié)這里有個(gè)容易忽略的細(xì)節(jié)每個(gè)頭內(nèi)部的 A_i 用隨機(jī)高斯初始化B_i 初始化為 0。原因和普通 LoRA 一樣是為了保證訓(xùn)練開始時(shí)低秩旁路輸出為 0不會破壞底座權(quán)重。如果所有 B_i 都是 0那么共享底座在第一步仍然只輸出 W0x梯度的初始階段也相對穩(wěn)定。但多個(gè)頭同時(shí)參與時(shí)A_i 的初始化方差如果設(shè)得過大會導(dǎo)致門控梯度噪聲變大。我試過把 A 的初始化標(biāo)準(zhǔn)差從默認(rèn)的 1/sqrt(d) 調(diào)小到 1/sqrt(2d)在任務(wù)數(shù)量較多時(shí)確實(shí)收斂更穩(wěn)。你也可以保持默認(rèn)但學(xué)習(xí)率要相應(yīng)調(diào)低否則訓(xùn)練初期 loss 會像過山車一樣抖動。5. 一份可以直接拿去用的 MLoRA 訓(xùn)練配置5.1 復(fù)現(xiàn)成本與最小硬件需求先說結(jié)論用 7B 級別底座訓(xùn)練 4 到 6 個(gè)任務(wù)的 MLoRA單卡 24GB 顯存足夠。我本機(jī)是一張 RTX 4090上下文長度開到 2048batch size 單卡 2梯度累積 16。如果底座是 13B顯存就要上 48GB或者用兩張卡做張量并行否則會吃緊。相比單任務(wù) LoRAMLoRA 多出來的顯存主要是每個(gè)低秩頭的 A/B 矩陣和路由門控的一小部分參數(shù)增長幅度和頭數(shù)量成正比但遠(yuǎn)小于全參微調(diào)。5.2 超參表我自己跑得比較穩(wěn)的一組我用的可訓(xùn)練參數(shù)量統(tǒng)計(jì)7B 模型32 層 transformerLoRA 作用在 q/k/v/o 上秩 r 用 16加上三套下游頭 MLP總共可訓(xùn)練參數(shù)約 50M 到 60M 之間。如果不知道 LoRA 參數(shù)怎么算簡單記憶法是每個(gè)線性層兩個(gè)小矩陣參數(shù)量約為 2×輸入維度×r再乘以所有掛載層數(shù)量即可。加上任務(wù)專屬分類頭和生成頭之后總參數(shù)還會再漲一截但相比動輒幾十億的全參微調(diào)依然很小。超參數(shù)數(shù)值如下參數(shù)取值說明低秩維度 r16任務(wù)專業(yè)度高可升到 32通用任務(wù) 8 也能用縮放系數(shù) α16和 r 相等即縮放 α/r 1學(xué)習(xí)率2e-4AdamW權(quán)重衰減 0.01門控學(xué)習(xí)率1e-3比主干低秩矩陣的學(xué)習(xí)率稍高批大小32多任務(wù)輪轉(zhuǎn)構(gòu)造后累積等效最大步數(shù)3000 步左右配合早停按驗(yàn)證集波動判斷負(fù)載均衡權(quán)重 λ0.05任務(wù)數(shù)越多λ 可以稍微調(diào)大看起來有點(diǎn)違背“門控學(xué)習(xí)率應(yīng)當(dāng)和主干一致”的直覺但我實(shí)測下來門控如果學(xué)得太慢前期頭選擇隨機(jī)震蕩主干只能學(xué)到任務(wù)無關(guān)的通用表示后期想掰回來很費(fèi)勁。門控學(xué)習(xí)率給高一點(diǎn)它能先穩(wěn)定下來主干后續(xù)再慢慢適應(yīng)路由分布整體收斂效率反而更高。5.3 數(shù)據(jù)組織不要直接拼一個(gè)大混合集多任務(wù)數(shù)據(jù)處理我最開始犯過錯(cuò)誤把所有任務(wù)數(shù)據(jù)直接混成一個(gè) dataset只在每條樣本里加一個(gè) task_id 字段。結(jié)果由于任務(wù)數(shù)據(jù)量不均高頻任務(wù)徹底主導(dǎo)了共享底座和所有頭的更新。后來改成每個(gè) epoch 內(nèi)先按任務(wù)分組每組內(nèi)部 shuffle然后把各組樣本以“輪轉(zhuǎn)”方式拼成 batch。這樣每步更新都包含不同任務(wù)的數(shù)據(jù)低秩頭之間的更新頻率更加均衡。一個(gè) batch 的實(shí)際組織方式可以寫成這樣偽代碼from itertools import cycle task_datasets [load_task(name) for name in TASK_NAMES] iters [cycle(ds) for ds in task_datasets] batch_parts [next(it) for it in iters] final_batch torch.cat([p[input_ids] for p in batch_parts], dim0)這樣每步都會均勻出現(xiàn)每個(gè)任務(wù)的樣本不用額外加繁重的采樣權(quán)重調(diào)參。等到訓(xùn)練后期再逐步切回隨機(jī)混合讓模型去做一些跨任務(wù)的邊界模糊處理效果會更好。對我來說訓(xùn)練過程里唯一需要盯死的指標(biāo)不是總 loss而是每個(gè)任務(wù)獨(dú)有的驗(yàn)證指標(biāo)。多任務(wù)框架的 loss 曲線會掩蓋單任務(wù)的退化如果你只看平均 loss低頻任務(wù)早就崩了你都不知道。6. 實(shí)測效果三種典型任務(wù)組合下的表現(xiàn)6.1 組合一領(lǐng)域相似但標(biāo)簽體系不同我先把“客服意圖識別”和“工單分類”放進(jìn)同一個(gè) MLoRA 里。這兩個(gè)任務(wù)共享大量口語表達(dá)但標(biāo)簽體系完全不同。單獨(dú)訓(xùn)練兩套 LoRA 時(shí)意圖識別的 F1 在 0.89工單分類 F1 在 0.86。MLoRA 訓(xùn)練后兩個(gè)任務(wù)分別達(dá)到 0.90 和 0.88原因很直觀共享底座里去掉了任務(wù)專屬偏置語義表示更通用子空間按任務(wù)切分反而各得其所。這個(gè)結(jié)果讓我意識到一個(gè)重要規(guī)律MLoRA 最擅長處理的不是“一堆八竿子打不著的任務(wù)”而是“共用底層語義、只是上層決策不同”的任務(wù)群。它把公共部分留給底座把差異化部分留給低秩頭分工明確。6.2 組合二任務(wù)之間有重疊但輸出形式不同合同關(guān)鍵信息抽取和摘要生成的輸入輸出差異很大一個(gè)是抽取式 span一個(gè)是生成式摘要。讓這兩類任務(wù)強(qiáng)行共享低秩頭不是不行但會出現(xiàn)“抽取模塊和生成模塊搶梯度”的現(xiàn)象一個(gè)任務(wù)收斂快了另一個(gè)任務(wù)驗(yàn)證損失就開始反彈。我最后強(qiáng)制把二者的頭設(shè)置為分離共享底座部分正常更新問題就消失。這也說明 MLoRA 不是徹底消滅任務(wù)沖突而是把沖突面從“整個(gè)模型層”縮小到“子空間邊界”。判斷哪些頭該共享、哪些頭該分離目前沒有量化公式我自己的經(jīng)驗(yàn)是輸出形式差異越大頭越要分離輸入分布差異越大底座越要分開或者換更大的底座。6.3 組合三數(shù)據(jù)量差異特別懸殊低頻任務(wù)樣本只有 2000 條高頻任務(wù)樣本有 5 萬條。單 LoRA 微調(diào)低頻任務(wù)極易過擬合直接混合訓(xùn)練低頻任務(wù)會被淹沒。MLoRA 里我給低頻任務(wù)單獨(dú)開了一個(gè)頭并把它在前 500 步的采樣比例人為抬高到 30%之后逐步降低到自然比例。這種訓(xùn)練曲線用普通 LoRA 做不了因?yàn)槠胀?LoRA 只有一個(gè)優(yōu)化目標(biāo)難以對不同任務(wù)施加不同步調(diào)。MLoRA 的熱啟動策略則簡單粗暴但有效在模型還沒看清低頻任務(wù)分布的時(shí)候高頻任務(wù)已經(jīng)把共享底座帶向了它的主場。前 500 步有策略地“偏科”后續(xù)再讓共享底座回歸正常分布相當(dāng)于給低頻任務(wù)搶了一個(gè)好的初始化狀態(tài)。7. 上線部署與推理加速多出來的頭怎么處理7.1 合并權(quán)重時(shí)的三種選擇MLoRA 訓(xùn)練完最終產(chǎn)物是共享底座權(quán)重 W0 和一組低秩頭 (B_i, A_i)。上線時(shí)無非三種做法第一種把每個(gè)頭合并回底座變成獨(dú)立 LoRA保持原來多 LoRA 部署架構(gòu)不變。這種方式在只支持單 LoRA 的引擎上最省事但失去了“按需加載”的優(yōu)勢。第二種保留“底座 多頭”格式用支持 adapter 調(diào)度的框架在推理前動態(tài)加載對應(yīng)頭。顯存更省但需要選對推理框架。第三種直接把所有權(quán)重復(fù)合進(jìn)完整權(quán)重輸出一份大模型。這樣推理最快但新增任務(wù)時(shí)必須重跑一次合并靈活性最差。我最終選了第二種。如果只是想快速驗(yàn)證效果第一種最穩(wěn)代碼改動最小。第三種適合對延遲極其敏感且任務(wù)基本不再增長的場景。7.2 推理時(shí)門控是否還用得上如果你在上線時(shí)只按任務(wù) ID 切換頭那訓(xùn)練時(shí)門控在推理階段就不參與計(jì)算如果希望在線服務(wù)能自動對開放域 query 做路由那就保留門控。兩種我都跑過保留門控會讓精度略微提升但排查問題時(shí)多了一個(gè)無法解釋的變量。所以如果業(yè)務(wù)任務(wù)邊界清晰建議生產(chǎn)環(huán)境先關(guān)閉門控把歸屬問題留給上層任務(wù)分發(fā)器解決。等線上數(shù)據(jù)驗(yàn)證確實(shí)存在跨任務(wù)混用需求時(shí)再把門控加上也不遲。先讓系統(tǒng)簡單再讓系統(tǒng)聰明這條順序別顛倒。7.3 服務(wù)化時(shí)最容易被忽略的顯存坑多頭權(quán)重在加載進(jìn)顯存時(shí)如果按 PyTorch 默認(rèn) dataclass 存儲每多一個(gè)頭都會產(chǎn)生一系列 Python 對象開銷。我實(shí)際啟動服務(wù)時(shí)發(fā)現(xiàn)8 個(gè)頭加載后顯存占用比理論值多了 2.5GB全部來自 adapter 配置對象的元數(shù)據(jù)緩存。處理方式很簡單把檢查點(diǎn)里每個(gè)頭轉(zhuǎn)成 safetensors 分片只加載當(dāng)前任務(wù)需要的頭其他頭留在磁盤。這樣不僅啟動快顯存也從 21GB 降到了 17GB 左右。另外如果你用 vLLM 這類推理框架要注意它對新 adapter 的加載方式。很多框架默認(rèn)把每個(gè) adapter 的權(quán)重全部 preload 到顯存多任務(wù)場景下顯存會被無謂占滿。我最后用的是一個(gè)簡單的外層調(diào)度每個(gè)請求只把對應(yīng)任務(wù)的頭從磁盤加載進(jìn)來請求結(jié)束立即釋放。額外增加的延遲在毫秒級別但能換來更大的并發(fā)密度。8. 三個(gè)必須提前想清楚的問題8.1 任務(wù)數(shù)超過多少個(gè)該停手我的經(jīng)驗(yàn)是任務(wù)數(shù)超過 8 個(gè)以后MLoRA 的訓(xùn)練曲線會明顯波動各頭更新頻率重新變得不均衡負(fù)載均衡損失也很難壓住。這時(shí)候把任務(wù)做分層先按領(lǐng)域聚成 3 到 4 組每組內(nèi)部再用 MLoRA 多任務(wù)訓(xùn)練反而比強(qiáng)行一把梭更穩(wěn)。任務(wù)不是越多越好MLoRA 解決的是“中等數(shù)量任務(wù)的共享問題”不是無限擴(kuò)展的萬能藥。如果你真的遇到 20 個(gè)以上的任務(wù)我建議先做任務(wù)聚類再把聚類結(jié)果交給路由。比如把 20 個(gè)任務(wù)聚成 4 個(gè)簇每個(gè)簇內(nèi)部共享一個(gè)低秩頭這樣參數(shù)規(guī)??煽厝蝿?wù)沖突也最小。8.2 和全參微調(diào)相比MLoRA 到底犧牲了什么全參微調(diào)能對底座做大規(guī)模重排適合改動非常大的遷移。MLoRA 受限于低秩旁路能表達(dá)的偏移空間是在 r 維子空間里。若任務(wù)需要模型理解一種底層邏輯差異比如從通用對話遷移到代碼生成低秩旁路覆蓋不了這種結(jié)構(gòu)性變化。這時(shí)候哪怕加更多頭也沒用我的判斷是直接換底座或全參微調(diào)才是正路。如果你不確定任務(wù)是否超出了低秩旁路的能力范圍可以先做一個(gè)快速診斷用 500 條任務(wù)數(shù)據(jù)訓(xùn)練一個(gè)單 LoRA看驗(yàn)證集上的分?jǐn)?shù)是否達(dá)到業(yè)務(wù)線。如果單 LoRA 都達(dá)不到MLoRA 只會讓事情更復(fù)雜不會讓效果變好。這不算嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)證明但作為項(xiàng)目決策依據(jù)足夠了。8.3 文檔里不提的經(jīng)驗(yàn)關(guān)于 α/r 的爭議網(wǎng)上一大半文章說 LoRA 里 α 要設(shè)為 r 的 2 倍理由是輸出縮放更平滑。我在 MLoRA 多任務(wù)訓(xùn)練里試過 α r 和 α 2r前者的收斂更快后者在測試集上波動更小。沒有絕對正確只有針對場景的選擇。最關(guān)鍵的是整個(gè)模型里所有頭要保持一致的縮放。如果任務(wù) A 的 α/r 是 1任務(wù) B 的 α/r 是 2低秩子空間之間的相對尺度就失去可比性路由判斷也會失真。所以我把“所有頭統(tǒng)一 α r”寫進(jìn)了團(tuán)隊(duì)規(guī)范比每次臨時(shí)調(diào)參靠譜得多。另外還要注意新增任務(wù)的初始化不能直接復(fù)制現(xiàn)有頭的 A 和 B否則新任務(wù)會先繼承舊任務(wù)的語言習(xí)慣需要很長時(shí)間才能“洗”回來。正確做法是新頭保持隨機(jī)初始化、B 置 0然后只讓新任務(wù)的數(shù)據(jù)參與前幾百步更新等它的 loss 開始下降再放開門控。9. 一些關(guān)于后續(xù)延展的想法MLoRA 最近吸引了很多研究者把它和持續(xù)學(xué)習(xí)、模型合并、參數(shù)高效微調(diào)這些方向結(jié)合起來看。我自己的實(shí)踐體會是它最大的價(jià)值在于改變了“一個(gè)任務(wù)一份權(quán)重”的慣性思維。你不再需要為每個(gè)小任務(wù)維護(hù)一套完整的微調(diào)產(chǎn)物而是可以把任務(wù)拆解成共享底座上的一個(gè)可插拔頭。這也是我目前比較推薦的實(shí)踐路徑先跑通單任務(wù) LoRA確認(rèn)任務(wù)本身可學(xué)再在業(yè)務(wù)量級上做一輪任務(wù)聚類判斷哪些任務(wù)適合共享底座最后才是引入 MLoRA 的多頭結(jié)構(gòu)。順序反了很容易被路由調(diào)參、負(fù)載均衡這些問題淹沒。如果你想在項(xiàng)目里落地 MLoRA最好從 2 到 3 個(gè)相似任務(wù)開始不要一上來就塞 10 個(gè)任務(wù)。一個(gè)小規(guī)模的驗(yàn)證能幫你快速確認(rèn)底座是否適合這些任務(wù)、路由模塊是否穩(wěn)定、顯存和延遲是否滿足要求。驗(yàn)證通過后再逐步增加任務(wù)數(shù)量。這個(gè)節(jié)奏走下來踩坑的概率會小很多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
91色综合| 五月丁香六月花| 色人久久| 久久99精品久久久久久三级| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 久久九九激情五月天| 五月婷视屏在线观看| 久热91精品| 99精品在线观看| 五月青青草综合| 超碰丁香五月| 无码激情AAAAA片-区区| 大香网伊人久久综合| 激情激情激情网| 亚洲成人av在线播放| 九九久久五月天| 狠狠操天天操综合| 淫视馆aV二区一区| 五月天综合久久丁香91| 丁香五月天亚洲综合| 亚洲情色一区| 婷婷 丁香 精品| Se.婷婷五月天| 深爱激情五月天婷婷网| 天天肏夜夜肏| 97性视频| 色播婷婷五月天| 国产精品久久久爽爽爽麻豆色哟哟| 人人射人人高潮| 99热99成人| 丁香五月熟女| 69凹凸成人综合网| 国产精品第一国产精品| 婷婷色网| 丁香六月色婷婷| 人人人人人人人草| 久久综合天天综合| yazhouzonghesese| 伊人成人宗合网| 亲子乱av一区二区三区的| 色色性爱视频| 在线天堂9| 99热这里只有精品96| 欧美视频五区| 婷婷人人操| www,setingting| 丁香五月激情综合| BBWCUCKOLD精品熟妇| 高清视频一区| 久久超视频| 五月丁香婷中文字幕| 婷婷五月亚洲综合| 五月天婷婷色| ,99视频久久| 激情婷婷丁香五月天| 韩国97天堂| 色婷婷五月丁香在线观看| 超碰AV成人| 色综合99无码 | www.久久| 伊人丁香花综合影院| 久久最新色色色| 日韩操逼大片| 五月丁香婷婷啪啪网| 久久五月婷婷综合网| 日本色天堂| 人人色婷婷| 日日夜夜爽| 另类国产综合| 日操夜撸| 激情图片久久| 色情五月综合婷婷| 婷婷91视频| www.色五月| 99热在线观看| 99久热视频在线| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 国产精品天天狠天天看| 婷婷五月天最新网址| 百度一下国产精品A| 99色丁香婷婷综合网| 色婷婷婷av| 丁香五月天激情网址| 丁香狠狠| 色99色| 色色婷婷丁香| 国产这里只有精品| 国产精品成av人在线视午夜片| 69凹凸成人综合网| 久草婷婷| 99九九在线视频| 色综合99色| 久久亚洲无码| 久久99久久99精品免视看婷婷| 五月婷婷九月婷婷九月婷婷| 在线视频另类| 97色精品视频| 97成人丁香婷婷| 五月丁香999| 日本丁香五月| www.丁香六月婷婷久久天堂影院.con| 激情五月色婷婷| 色色婷婷五月| 5月丁香婷婷激情网| 影音先锋一区二区三区| 秋霞九九无码| 五月天成人在线视频丁香| 日本成人小说婷婷六月| 5月色婷婷| 五月丁六月婷| 99热最新| 超碰com| 五月丁香婷婷激情在线视频| 日本高清久| 202丰满熟女妇大| 蜜乳AV成人| 欧美久久婷婷| 久草热视频在线观看| 91中文在线| 色青青电影色五月| 热久久思思热思思| 97丁香婷婷| 色婷婷中文| 激情五月丁香社区| 播五月开心婷婷欧美综合| 国产亚洲在线观看| 成人精品在线观看| 婷婷五月综合色拍| 伊人9草在线观看| 婷婷五月天va| 亚洲超碰在线| 五月色网| 亚洲AV中文在线| 六月婷综合| 色性综合| 五月丁香免费看| 色香久久| 成人va视频| 成人亚洲精品久久久久| 99热久久这里只有精品| 天天操天天插| 国产韩日亚洲美州欧亚综合在线| 五月婷婷深深爱| 玖玖婷婷五月天毛片| 五月天婷婷六月激情网| 色婷婷小说网| 婷婷五月天AV网| 偷拍91九色| 热99色| 欧美五月丁香在线| 天天干一干| 99久久婷婷五月综合| 97五月天婷婷| 亚洲xx在线| 这里只有精品99视频| 在线播放中文字幕| www.日本久久videos| 天天爱天天秀天天做| 亚洲日比视频| 色色色免费视频| 超碰97在线观看免费| 天天色综合色| 97色精品视频| 日本va欧美va欧美精品88| 三级黄色大片视频| 五月婷婷六月婷| 久草婷婷网 | 日本女天天爽| 国产片XXXXA片国语对白| 婷婷五月69| 999婷婷综合| 欧美性久| a网站免费观看| AV色婷婷| 夜夜撸日日操| 九九草热在线观看| 婷婷五月丁香综合桃花色网| 色天堂A| 91碰视频| 涩五月婷婷| 亚洲精品五十一区| www五月婷婷| 色情免费视频播放| 97在线日本| 亚洲操b| 秋霞网在线免费基地五月婷婷丁香| 国产精品五月天婷婷| 超碰2021| 99狠狠色| 亚洲熟妇AV综合网五月丁香伊人| 97成人丁香| 丁香涩涩爱| 婷婷天堂视频| 五月天婷婷基地| 极品 少妇 内射| 伊人五月婷| 99热精品在线播放| 久99热| 亚洲乱码精品久久久久..| 亚洲色五月天是什么| 久久婷婷午夜| 庭庭久久内射| 99热这里只有精品一| 99久久婷婷国产综合精品电影| 婷婷瑟瑟五月天| 色色影院黄大片| 亚洲视频五区| 精品怡红九九九| 综合 蜜月 婷婷| 国产激情在线| 激情亚洲婷婷六月| 99在线69| 99热综合在线观看| 九九激情网| 热的国产,热的综合,热的有码 | enecarbon-materials.comWu染请涟系Bao护@wip1688 | 五月天天天天天天天天天天天婷婷婷| 亚洲VA欧美VA| 婷婷久久五月天中文字幕在线观看| 玖玖在线| 五月婷婷九月婷婷九月婷婷| 久久激情视频| 91热在线观看视频| 开心五月婷婷激情| 桃色五月天| 草综合网| 大香蕉 伊人夜| 六月激情网| 五月丁香色婷婷熟女| 欧美三日本三级少妇三99| 天天做天天爱| 日日夜夜干| 综合在线网| 丁香五月WWW| 26UUU精品一区二区| 婷婷五月久久| 99色6爱9热| 91超级碰人人操| 91超级碰碰碰| 99色视频| 五月天激情啪啪| 天天操天天日天天爱| 任你弄在线视频免费| www.超碰在线| 人妻久久久久久| 婷婷黄色五月天在线视频| 9久久网| 狠狠狠狠狠狠| 婷婷色综合| 久久婷婷综合五月趴| 婷婷激情丁香五月天综合| 丁香五月激情啪啪啪| 九九Av| 五月婷婷综合网| 久久一二三视频| 操97| 好看的国产精品| 在线成人国产| www.91热久久| 综合av在线| 色99网| www.激情五月| 日欧大屏操| 丁香五月综合在线| 婷婷五月天无码熟女| 五月丁香无码| 婷婷爱爱蜜臀天天操| 色色色色色九九九九九| 婷婷五月欧美综合| 熟女少妇内射日韩亚洲| 成人片黄网站色大片免费毛片| 91要啪| 天天爽天天爽视频| 毛片色五月| 婷婷色五月久久| 密黄站| 无码人妻激情| 超碰在线看| 六月婷婷综合久久| 亚洲成人网站在线播放| av激情在线| 综合久久五月天| 五月丁六月香av| 婷婷五六月丁香| 91天天操天天干天天射| 免费九九热| 五月色丁香| 99日精品视频| 婷婷五月综合久久中文字幕| 高清不卡一区| 日日干五月天婷婷| 色五月婷婷五月丁香五月激情五月视频| 丁香色成人| 97超级操操| 亚洲AV成人无码电影| 在线观看视频1区| 日本44久久在线| 播丁香五月婷婷欧美| 中字幕视频在线永久在线观看免费| 久久五月婷综合网| 天天干天天 亚洲| 人妻在线中文字幕久久| 天天摸天天日天天舔| 青青福利网| 亚洲一区二区无码蜜乳av| 欧美婷| 亚洲性图一区二区| 中文AV网| 人妻人人操| 久久9视频| 婷婷五月丁香五月| 午夜精品人妻无码一区二区三区| 97搞在线| 亚洲综合在线播放| 中文人妻主播久久| 五月丁香婷婷潮喷中文字幕| 五月天激情小说网| 狠狠搞狠狠操| 色婷婷yy久| 97成人超碰免| 99久热| 丁香五月婷婷六月婷| 午夜九九电影| 色五月婷婷亚洲最大| 成人网在线视频| 亚洲综合成人网| 久色网| 五月久久丁香| 久草大| 影音先锋女人av鲁色资源网小说免费| 天天日日夜夜爽。| 另类图片天天影视在线观看| 欧美日韩成卜| 91肏| 六月色色婷婷| 成人亚洲精品| 99久久欧美| Caop在线| 狠狠干激情五月| 丁香婷婷视频| 丁香五月成人| 丁香五月天婷婷91| 日本精品。999| 五月激情综合深爱| 99热综合网| 久久九九热re6这里有精品| 九九激情视频| 午夜丁香六月婷| 色狠久| 99热婷婷| 欧美日韩精品一区二区三区钱| 丁香六月婷婷综合激情欧美| 色婷婷九月| 天天操无码| 少妇AB又爽又紧无码网站| 成人va在线| 色性综合| 狠狠狠狠狠| 色婷久久| 99在线免费视频| 亚洲成人电影aaaa| 九九五月天| 五月停性愛| 67194成I人在线观看线路1| 天天夜天天色天天| 国产精品色色| 天堂中文国产| 激情内射p| 色五月婷婷久久| 亚洲婷婷激情综合激情999精品| 日韩成人网站精品久久大全| 另类综合激情| 色五月中文字幕| 婷婷五月天色综合翘| 狠狠狠狠狠干| 亚洲av电影网站| 欧美人与性动交CCOO| 九九精品系列| 开心激情久久久久久久| 国产精品成人在线| 99综合视频一体| 欧美婷婷精品激情| 91干网站| 五月天婷爱综合| 婷香五月激情视频| 久久久久9| 五月久久婷婷成人网| 99热这里有精品| 91干视频| 婷婷五月激情视频网| 大地9中文在线观看免费高清| 五月天婷婷免费| av五月天婷婷丁香| 超碰免费人人肏| 免费色色色| 日韩成人电影AV| 久久宗合影| 开心五月激情婷婷| 婷五月天影院| 99热99热| 91狼友视频网页更新| 天天草婷婷五月| 97操碰| 91丨九色丨丰满人妖| 狠狠草在线观看| 香蕉久久五月| 六月婷婷九月丁香亚洲综合| 色综啪啪啪啪啪啪| 丁香久久| 視频福利乱色| 99这里只有精品| 久久五月情| 99国产视频网| 婷婷欧美激情| 色情综合| 中文精品久久久久人妻不| 二色AV| www.精品99| 欧美五月婷婷| 99ri在线| 97色色视频| 天天艹天天综合网| 激情六月天| 开心五月婷婷五月| 九九热在线精品| 久久无码激情视频| 日韩在线看AV| 五月天天爽| 热99.com婷婷| 99热综合色图| 91狠狠色丁香婷婷综合久久| 欧美婷婷| 婷婷五月噜噜| 婷婷综合色网| 婷婷五月色天| 天天综合图片| www.九九婷婷| 九月激情网| 婷婷开心深爱五月天| 丁香五月色| 午夜爱爱爱成人| 97色射| 夜夜骑天天操| 色婷婷www| 五月天社区| 激情美女五月天| 无码激情AAAAA片-区区| 天天爽天天日天天舔| www.久久9| 欧美久久婷婷| 69五月天视频| 91亚洲免费片| 99热这里只有精品9| 亚洲瑟瑟精品在线| 99热插| 国产精品色| 人人操超踫| 开心五月婷婷综合在线精品素人| 亚洲精品99| 中字幕视频在线永久在线观看免费| 五月天婷婷深深爱| 亚洲五月天婷婷| 欧美日韩91| 午夜婷婷五月天| 色99热| www.夜夜| 丁香婷婷九月| 丁香五月狠狠综合欧美| 色九月婷婷丁香| 26UUU精品一区二区| 久久机只有这里精品| 殴美日韩成人| 丰满少妇猛烈A片免费看观看| 精品人妻一区二区三区四区不卡在| 黄色片区子| 丰满女老板BD高清A片| 婷婷五月天激情诱惑| 99久久99久久综合| 丁香六月婷婷色XXXXX| 亚洲色婷婷| 开心激情网在线| 欧美在线视频99| 99天堂在线观看免费视频| 亚洲在线操| 99热精品一| 五月婷婷偷拍| 禁片二区| 日本人妻伦在线中文字幕| 亚洲精品99| 天堂五月婷婷| 九九香蕉网| 99re视频在线精品| 久久er99热精品一区二区| 天天干电影| 丁香色播五月天| 色色丁香婷婷| 婷五月天丁香婷五月| 激情五月天色爱| 碰碰91| 色yeye欧美| 欧美日韩中文国产一区发布| 婷婷香五月天| 日本三级中文字幕| 五月婷婷之婷婷| 色婷綜合网| 五月天婷婷综合久久| 69精品人妻不卡视频| 欧美成人AAA片一区国产精品 | 超碰成人黄色网| 亚洲色频| 久久xx| 天天综合五月天| 婷婷五月骚厕所| 激情婷婷亚洲五月| 六月婷婷无码| 欧美色图45678| 色播播婷婷| 墨西哥毛片内射精| 激情影院69| 精品少妇人妻AV无码专区偷人| 九九亚洲视频| 丁香六月激情| 五月丁香婷婷色色色| 成人免费va| 久久婷婷五月天激情唯美| 99热久久最新地址| 桔色成人官方网站| 99热首页在线30| 亚洲色色图片| 五月婷伊人| 操操操av| 五月婷婷成人w| 五月婷婷久久开心网| 青青草原中文字幕| 日韩好吊操| 婷婷免费精品视频| 国产免费性爱| 国产五月视频| 四川BBB搡BBB爽爽视频| 久久人妻熟女一区二区| 内射人妻视频国内| 热思思九九| 成人国产欧美大片一区| 成人国产网站在线免费看| 日韩一区二区A片免费观看| 亚洲精品字幕在线观看| 9久热精品在线视频| 色.五月综合网| 蜜桃婷婷丁香综合久久开心亚洲| 日韩aⅴ视频| 变态另类色图| 激情av在线| 亚欧州精品视频| 国产成人av在线播放| 97人人操人人爽| 欧洲激情网站| 欧美综合在线五月天色婷婷| 天天综合社区| 久久婷婷五月综合激情国产| 色色婷| 久久精品人妻| 五月婷婷久草| 五月婷婷草| 91色综合| 春色激情第四色| 五月天婷婷丁香社区| 欧美激情VA永久在线播放| 99在线视频播放| 亚洲六月婷婷| 67久久| 丁香久月婷| 亚洲精品无码久久| 激情五月综亚网| 色婷婷色五月天| 六月丁香色色| 97碰碰碰免费公开在线视频| 色色色色色日韩午夜激情| 国产精品日日躁夜夜躁| 国产精产国品一二三在观看| 国产综合A片| AV色婷婷| 狠狠草婷婷| 激情五月丁香五月| 丁香五月天激情综合| 成人做爰黄A片免费看直播室男男| 99久久偷拍视频| 网色99| 天天做天天干天天综合网| 色情五月停停丁香| 五月色影院| 亚洲AV无码电影| 久热一本| 色噜噜狠狠狠综合曰曰曰| 婷婷久久五月天丁香| 少妇高潮呻吟A片免费看软件| 天天透天天干| 色。 日日日| 色色国产| 1024在线一区| 色九网| 九九热经典视频在线观看| 丁香五月婷婷啪啪啪| 丰满少妇乱A片无码| www.日本91| 日操五月婷| 五月天操逼网| 日本97在线观看| 久久久久久xxxxx| 激情www| 色色五月婷婷| 99热爱爱干干日| 五月丁香狠狠| 中文字幕无码人妻少妇免费视频| 97黑人精品区| 男人的天堂五月丁香| 五月丁香啪啪网| 色色九九五月天 | 9|在线观看视频| 深爱五月激情综合| 色色免费网站| 影音先锋一区| 热99.com婷婷| 亚州日本欧州韩美高青高潮一| 五月婷婷黄色| 婷婷五月丁香超碰| 激情六月日韩| 激情五月天天| 五月综合777| 丁香六月五月天| 丁香熟女乱| 这里只有免费的精品| 婷婷爱五月| 婷婷涩涩五月天| 丁香六月婷婷色XXXXX| 99在线精品免费视频| 久久这里只有精品久久| 思思热久久艹| 大香蕉久久久| 影音先锋91资源站| 国产1区2区| 99re最新地址| www.亚洲激情.com| 人人草人人爱手机视频看看| 九八Av| 色色色在线播放| 99热这里只有精品99| 久久99婷婷| 大香蕉久久婷婷精品综合| 97人人干。| 色色色免费视频| OYIWbGcPu8H| 夜夜做夜夜愛| 91n啪啪| 操射国产日本| AⅤ在线播放网| 婷婷五月天成人网站| 色婷青青| www夜夜操comwww| av操B网站| 99热这里只有精品官网| 亚洲一级 片内射网站在线观看| 亚洲婷婷六月天| 亚洲亚洲人成综合网络| 亚洲九九99精品视频在线播放| 99噜噜噜在线播放| 97色婷婷五月天| 六月丁香久久| 欧美在线视频9| 欧美色五月| 色情五月天丁香社区| 久99久热| 99热这里在线精品| 国产毛多水多女人A片| 久久五月婷综合网| 噢美99| 激情五月天色婷婷| 丁香视频| 久久女婷| 激情欧美婷五月| 日韩欧美不卡| 综合激情五月天六月婷免费视频| 久久综合色情网站| 久久女婷| 襙比视频| 婷婷综合在线视频| 无码人妻激情| 99热精品在线播放观看| 5月丁香综合图区| 伊人五月天在线| 色婷婷av在线| 精品一二三区久久AAA片| 五月中旬婷婷丁香六| 久久婷婷艹| A1片久久久| 亚洲激情淫网| www.九九婷婷| 超碰成人免费| 色五月婷婷大| 91疯狂操操操操| 伊人激情影院| 色狠狠色综合| 9久久精品| 爱99干99| 大香蕉久久久| 五月丁香婷婷六月天| 97碰碰人人视频| 婷婷五月天丁香| 六月丁香五月激情网| 丁香玖玖| 99国产精品白浆在线观看免费| 五月天综合影院| 人人摸人人操人人爽| 极品人妻VIDEOSSS人妻| 日日夜夜干| 五月丁香啪啪激情| 六月婷婷最新网址| 天天舔天天| 五月婷久久久| 国产成人综合亚洲| 亚洲无码另类| 久久视频这里99| 日本三级中国三级99人妇网站| 影音先锋91在线资源站| 久婷婷| 色婷婷视频综合| 日本91在线| 婷婷热色| 激情综合色| 99性爱| 丁香五月天精品| 色综合久久综合中文综合网| 91制片厂久久久国产电影| 欧美人妻一区二区| 高清无码视频网址| 五月丁香六月婷婷免费| 8区视频在线| 9|在线观看视频| 天天做天天爱天天爽| 九九色播五月丁香| 精品久久久久久久人妻| 五月天激情综合首页| 精品亚洲日韩99欧美片| 色和综合网| 五月天激情小说| 超碰97免费在线| 五月天婷婷伊人| 色色色色欧洲| 婷婷五月综合久久中文字幕| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 级人人91| AA片在线观看视频在线播放| 中文av网站| 婷婷五月丁香91| 久久久久思思热| 伊人天天色| 九九热色视频| 五月激情啪啪啪| 久久婷婷五月天激情| 久久综合最新网址| 超碰狠狠干99| 99在线精品免费视频| 26UUU欧美| 碰碰女| 女人被男人吃奶到高潮| 婷婷五月天中文字幕| 婷婷网五月| 激情婷婷狠狠干| 2025最新亚洲激情在线| 六月五月丁香五月欧美| 亚洲综合激情五月久久| 丁香五月婷婷激情网| 超碰97免费在线| 久久婷婷五月综合色丁香| 久久99久久99www| 久久久全国免费视频| 人人色人人弄人人操| 精品一二三区久久AAA片| 天天爽天天爽| 99热| 天天干天天拍| 色丁香五月婷婷| 婷婷色色五月天| 狠狠色综合网| 欧美性生交XXXXX无码小说 | 五月婷婷高清| 国产阿姨日皮艹逼内射视频| 日本在线免费中文com.| 综合色天天| 九九九午夜影院成人| 婷婷丁香五月天色区| 婷婷五月精品在线| 日日操,夜夜撸| 色色色色色网站| 亚洲色在线观看| 婷婷亚洲五月| 99九无网码| 黄网在线播放| www色色色com| 亚洲精品无人区| 97日韩无套内| 婷婷五月天丁香久久| 色五月婷婷天堂| 亚洲色综久久五月| 六月婷婷综合| 色六月丁香婷婷狠狠干| 九九热短视频在线观看| 开心婷婷五月天激情网| 99成人在线观看| 色婷操逼| 影音先锋女人AA鲁色资源| 成人超碰网| 日韩三级视频一区二区| 色综合久久中文| 色五月激情视频在线综合| 国产夫妻操逼内射视频| 五月丁香六月欧美| 开心五月天激情网| 激情图片五月天| 激情内射人妻1区2区3区| 99天天操夜夜操| www.99精品视频| 激情五月综合网| 激情婷婷狠狠干| 人妻久久久久久久| 五月色亚洲| 日韩国产在线精品| 一二区成人电影| 亚洲精品va| 五月之婷婷| 婷婷丁香宗合888| 五月天激情婷婷| Av在线资源| 亚洲超碰在线| 天天夜天天色天天| 丁香伊人网| 99精品偷自拍| 丁香五婷婷| 亚洲久久视频| 九九视频在线| 天天爽天天| 五月丁香888| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 97成人在线视频精品| 亚洲色精彩| 狠狠狠夜夜夜| 五月综合视频| 99热一本| 天天在线天天综合网色| 久久久这里有精品| 久久99久久99精品免视看婷婷| 高清 码 免费看片短视频| 五月开心婷婷极品激情| 国产午夜精品久久久观看| 久久久精品色| 丁香花五月天社区| 丁香五月婷婷综合视频| AA丁香综合激情| 免费观看欧美成人AA片爱我多深| 91久久综合亚洲噜噜成人在线 | 久久精品五月天| 视频这里只有精品16| 97久久精品| www九九免费视频| 九久9精品| 99热6色| 国产毛片精品一区二区色欲黄A片| 婷婷五月综合啪| 久久婷婷五月综合色播| 亚洲精品亚洲人成人网| 色九九一二| 婷婷深爱色五月| 欧美操人| 久热亚洲| 五月婷婷六月丁香在线视频| 少妇高潮A片无套内谢麻豆传| 99久久玖玖| 啪啪六月婷婷| 中文字幕日本最新乱码视频| 久热99| 久久99热这里只频精品6学生| aV直接看| 亚洲精品欧洲精品| 99九色视频在线观看| 操逼综合网| 激情五月天色爱| 99色色| 97久久超碰| 大香蕉久久婷婷| 丁香五月 无码| 婷婷五月天手机版视频| 欧美在线视频99| 99自拍视频在线观看| 免费精品99| 99久久婷婷五月| 深爱五月亚洲| 婷婷五月色| 99久久精| 婷婷伊人| 九九热九九| 91丨九色丨高潮丰满日本| 狠狠草网| 色播五月婷婷| 色综合色综合色综合| 国精产品久久| 玖玖婷婷免费| 人人综合五月人人婷婷| 久久在线视频免费观看| 丁香五月AV综合| 玖玖婷婷五月天| 亚洲AV免费在线| 99久久久久| 美女激情综合| 婷婷五月丁香六月| 婷婷久久五月丁香| 丁香五月香蕉| 日韩欧美颜射| 99久在线精品99re8热| 99热超碰在线| 五月丁香六月综合激情 | 9 1超碰九色| 日韩ac不卡无码| 色婷婷狠狠| 第2色五月婷| 五月天激情国产综合婷婷婷| 99小精品| 午夜精品久久久久久久爽| 欧美视频在线观看噜噜| 五月丁香色欲| se99视频| 欧美在线视频免费播放| 人妻久久婷婷| 精品思思久久| 亚洲精品无码一区二区| 五月丁香天堂网婷婷| 五月丁香色停停啪啪啪| 五月婷婷丁香在线| 99热网址| 97 A I色色| 婷婷五月丁香综合激情小说| 4438亚洲欧美| 涩涩涩五月天| 99热国内精品| 久久婷综合| 久热最新视频| 日韩操啪| 影音先锋噜一噜| 欧美狠狠草| 牛牛澡牛牛爽| 激情五月天网| 成片免费观看视频大全| 99精品久久| 六月狠狠综合| 激情久久久久久久久| 26uuu亚洲| 日韩精品色| 综合玖玖偷拍| 色丁香五月| 五月天婷婷色播在线网| 亚洲av无码影院| 婷婷五月天久久久| 呦呦v线| 五月婷婷国产| 亚洲综合五月天婷婷| 热热久久久久久久久| 激情五月瑟瑟| 久草五月天| 五月天婷婷五月| 色婷婷AV在线| 极品少妇XXXX精品少妇偷拍| WWW五月| 99热啪啪| 五月婷婷性爱网| 色综合久久88色综合天天99| 婷婷综合五月激情| 伊人9草在线观看| 婷婷五月婷婷| 五月天,激情四射,婷婷频道| 亚洲av网站| 曰韩五月丁香色婷婷无码| 久99久热| 五月婷婷六月奇米网丁香| 大香蕉久久久| 婷婷五月天99综合网站| 婷婷99中文字幕| 婷婷激情欧美| 超碰99热| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 97色五月天| 91久久综合亚洲噜噜成人在线| 中国女人做爰A片| 六月婷婷视频| 第四色婷婷五月| 婷婷五月综合社区| 五月丁香婷婷欧美色图视频五月丁香777电影| 久婷五月| 丁香五月天啪啪激情综合网| 黄网网站在线播放| 丁香色色五月| 色婷婷视频| 99热天堂| www.夜夜.com| 熟女乱论网| 台湾无码A片一区二区| 99国产在线精品视频| www色色com| 婷婷激情小说| 激情亚洲婷婷六月| 五月天婷婷综合久久| 色九月国产| 99色免费观看全部| 99久久久99久久91熟女| 久热 91| 欧美VA在线| 第六色在线| 久久99热这里只有| 大香蕉婷婷五月| 9 大屁股在线视频精品| 综合天堂AV久久久久久久| 婷婷五月激情丁香| 激情综合网五月| 五月天婷婷在线观看| 五月天成人手机在线视频| 丁香五月在线人妻| 日本三级中国三级99| 99啪啪骑| 丁香五月激情五月| 91无码色色| 九九AV| av九九| 99操逼视频| 人人摸人人澡人人| 婷婷五月天精品| 日日操,夜夜爽| 丁香六月婷婷高清| 伍月婷丁香婷| 日韩婷婷五月| 99热婷婷| 丁香五月自拍| 亚洲啪啪视频| 久久精品63| 日本人人干| 九色激情网| 99热精品超碰| 色99视| 九九综合图片网| 久热9热| 狠狠干狠狠操狠狠爱| 中文AV网站| 久草婷妨| 色色热日| 五月综合激情图片| 婷婷六月久久| 色五月婷婷天堂| 五月丿香啪啪| 超碰国产AV| 色婷婷国产精品综合在线观看| 婷婷色情五月| 五月天婷综合| 成人网在线视频| 国产成人在线不卡AV| 六月丁香色色色| 综合另类视频| 99色色热热| WWW.天天日| 爱之国产色情综合| 亚洲色色图片| 这里只有精品99www| 久久九精品| 五月丁香六月婷婷的女人| 亚洲亚洲永久无码777777| 久久小片| 综合五月天| 黄网免费看| 成人短视频在线观看| 五月丁香影院| 怡红院AV亚洲一区二区三区H| 黄色视频网站在线播放| 日韩精品呦呦va| 久久五月天网| 99久久网站| 亚洲色婷婷色| 夜夜夜叫天天天做| 婷婷婷婷婷婷婷五月丁香| 99精品在线观看视频| AV在线观看网站| 婷婷激情六月| 国产无遮挡又黄又爽免费网站| 国产99久| 久99久视频免费观看| 九九综合色| 丁香六月 人妻| 六月丁香久久| 丁香激情网| 欧美激情综合| 亚洲AV日韩AV永久无码网站| 91九色中文字幕女在线观看| 天天开心天天色| 先锋av性爱成人电影| 婷婷开心激情| 色五月六月| 亚洲狠狠色丁香婷婷综合久久| 亚洲人人艹| 久热大香蕉| 99re思思精品在线观看| 久久久久人妻| 色婷婷电影网| 五月色激情综合网| 九九久久99| 日本九九热| 丁香九月综合激情| 99免费在线视频| 婷婷五月天丁香久久| 97在线精品| 丁香九月婷婷色| 91碰| 日夜夜天天| 香蕉婷婷色五月| 无码激情AAAAA片-区区| 综合激情sV| 电影蜘蛛女| 激情图片五月天| 久热91| 久xxxx| www.狠狠操.con| 色婷婷天堂| 五月天大香蕉av| 五月停停色色丁香| av在线色五月丁香婷区久| 人人摸人人操人人爽| www.91五月| 人人操99| 婷婷五月花丁香| 另类视频在线| 97黑人精品区| 色婷婷丁香五月天激情综合网| 久久婷婷五月综合激情国产| 亚洲无AV在线中文字幕 | 天天摸天天舔| 99精品偷自拍| 久久久激情视频| 天天爽天天日天天舔| 久操大香蕉| 91狠狠色丁香| 久久这里只有精品1| 六月丁香啪啪啪| enecarbon-materials.com污K127封锁请涟系@wip1688 | 97热超碰| 综合狠狠五月婷婷| 操操碰| 综合网网欲色| 五月激情婷婷播播网| 99热自拍| www.久久婷婷| 婷婷五月天另类网站| 大香蕉520| 4399在线日本A片| 久久精品只有这| 一二线视频 另类| 秋霞黄色一级久久| 黄色成人网站在线播放| 狠狠色丁香久久综合婷婷亚洲成人福利| 久一这里有精品国产| 中文字幕在线播放视频| 五月五月婷婷| 激情五月综合网最新| 日日影院 | 日韩欧美一区二区三区四区| 五月丁香久久网| 伊人五月天97| 色五开心五月五月深深爱| 国产欧美日韩综合精品一区二区| 99久久久99久久91熟女| 久久 婷婷 五月天| 海外网站专业操老外| 婷婷久久综合久色| 日韩99无码| 26uuuavcom| 内射爽无广熟女亚洲| 97色婷婷成人综合在线观看| 五月丁香六月婷婷在线小说视频| 色色色欧美| 国产ava| 91超级碰在线| 中文在线成人| 这里只有精品1| 激情婷婷五月综合| 五月丁香婷爱在线| 欧美人人草草| 夜夜爽天操| 色婷婷在线视频观看| 武汉美女啪啪视频免费一级片| 成人片黄网站色大片免费毛片| 青青操绿aaa一区日v| 色99色| 五月丁香 六月婷婷a| 天天日天天色| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 思思热精品在线| 色色网91| 色屌丝中文字幕| 久久伊人婷| 狠狠色成人影片| 欧美大道不卡| 亚洲成人中心| 91丨九色丨白浆秘| 久久性爱视频| 开心六月婷| 婷婷综合网| 深爱婷婷色| 成人超碰网| 国产精品久久7777777精品无码| 黄色av网站在线免费播放| 狠狠操狠狠干综合| 99色免费在线观看| 婷婷五月在线视频| 婷婷99中文字幕| 五月丁香五月综合欧美| 99色最新在线视频| 97精品人人A片免费看| 婷婷深爱五月丁香网| 六月色 亚洲| 成人网在线视频| 欧美操人| 亚洲精品又粗又大又爽A片| 婷婷激情综合网| 另类亚洲电影| 99热资源在线| 色婷婷狠狠| 日本欧美成人片AAAA| 99色视频免费在线规看| 情一色一乱一伦一91A| 中文字幕视频在线播放| 六月婷婷深深爱| 色吧婷婷五月亚洲| 五月婷婷婷| 99热99在线| 国产精产国品一二三在观看| 亚城区在线| 99九九热在线观看| 无码人妻少妇色欲AV一区二区| 天天天天做夜夜夜夜做| 久草五月天| 97久久久| 天天日夜夜帕| 久久综合五月天| 亚洲V国产V欧美V久久久久久| 五月婷婷婷婷网| 成人 在线 日韩| 97在线观看| 色日本综合| 26uuu.| 日本nghangse中文字幕| 色九网| 男女久久婷婷五月天| 色老久久| 精品影院| 婷婷五月成人| 丁香亭亭久久| 久久久色情| 婷婷伊人五月天| 婷婷五月天在婷| 丁香婷婷黄网站| 99欧美热| 美女五月天| 99re这里| 色A网|