欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

大模型生產(chǎn)落地:LoRA微調(diào)、DPO對(duì)齊與紅隊(duì)測(cè)試

大模型生產(chǎn)落地:LoRA微調(diào)、DPO對(duì)齊與紅隊(duì)測(cè)試 簡(jiǎn)介這份 PDF 面向希望系統(tǒng)進(jìn)入大模型工程領(lǐng)域的技術(shù)負(fù)責(zé)人、AI 工程師與算法開(kāi)發(fā)者圍繞企業(yè)級(jí)生成式 AI 與 LLM 的技術(shù)本質(zhì)、算法內(nèi)核和落地案例展開(kāi)適合規(guī)劃學(xué)習(xí)路線或內(nèi)部培訓(xùn)。文件共 1 個(gè) PDF壓縮包約 965KB目前已有 343 人學(xué)習(xí)下載。內(nèi)容以十講實(shí)訓(xùn)大綱組織覆蓋 GenAI 原理與全生命周期、工業(yè)級(jí) Prompting 與 LangChain 應(yīng)用、Llama 2/3 及 Code Llama、生產(chǎn)環(huán)境幻覺(jué)與偏見(jiàn)治理、Agentic 與 Multi-Agent 開(kāi)發(fā)、指令微調(diào)與量化、LoRA/QLoRA 等 PEFT 算法、RLHF 與 PPO/DPO 對(duì)齊流程以及 Red Teaming 與 Responsible AI 的私有化安全實(shí)踐。讀者可據(jù)此建立從原理到微調(diào)、從應(yīng)用搭建到安全合規(guī)的完整知識(shí)框架并對(duì)照綜合項(xiàng)目明確動(dòng)手方向。1. 能跑通的 Demo 和能接流量的系統(tǒng)中間隔著一整條工程鏈做過(guò)大模型項(xiàng)目的人大概都經(jīng)歷過(guò)這種落差本地跑的對(duì)話 Demo 效果驚艷接到真實(shí)業(yè)務(wù)流量第三天業(yè)務(wù)方就拿著截圖來(lái)投訴——同一句話問(wèn)兩遍答案不一樣問(wèn)文檔里沒(méi)寫(xiě)的東西它張口就編偶爾還冒出一句不該說(shuō)的話。這時(shí)候才會(huì)意識(shí)到人工智能算法這一層決定的只是模型能力的上限而生產(chǎn)環(huán)境里真正決定能不能上線的是上限之下那截可控性。這份實(shí)訓(xùn)大綱把十個(gè)模塊排成一條從原理、微調(diào)、對(duì)齊到紅隊(duì)測(cè)試的鏈路恰好就是那截可控性的施工圖值得按機(jī)制拆開(kāi)看一遍。2. 低秩微調(diào)為什么 1% 的參數(shù)就能改寫(xiě) 100% 的行為2.1 全量微調(diào)的顯存賬本7B 模型為什么在單卡上動(dòng)不了先算一筆賬因?yàn)樗鼪Q定了后面所有技術(shù)選型的起點(diǎn)。一個(gè) 70 億參數(shù)的模型在混合精度訓(xùn)練態(tài)下同時(shí)駐留顯存的東西遠(yuǎn)不止權(quán)重本身fp16 權(quán)重約 14GBfp16 梯度約 14GB優(yōu)化器為了數(shù)值穩(wěn)定還保留一份 fp32 主權(quán)重約 28GBAdam 的一階動(dòng)量與二階動(dòng)量各 28GB。這五項(xiàng)加起來(lái)已經(jīng) 112GB而激活值、attention 的中間張量、通信緩沖還沒(méi)算進(jìn)去。一張 80GB 的卡塞不下兩張也懸。駐留項(xiàng)精度7B 模型占用是否隨 batch 增長(zhǎng)模型權(quán)重fp16約 14GB否梯度f(wàn)p16約 14GB否主權(quán)重副本fp32約 28GB否Adam 一階動(dòng)量fp32約 28GB否Adam 二階動(dòng)量fp32約 28GB否激活值與臨時(shí)緩沖fp16隨序列長(zhǎng)度、batch 線性增長(zhǎng)是這張表解釋了一個(gè)常見(jiàn)誤解顯存不夠不是因?yàn)槟P吞蠖且驗(yàn)橛?xùn)練態(tài)下每個(gè)參數(shù)要背四到五份副本。參數(shù)高效微調(diào)PEFT之所以成為企業(yè)落地的默認(rèn)選項(xiàng)不是因?yàn)椤甘″X(qián)」而是因?yàn)槿课⒄{(diào)在很多團(tuán)隊(duì)的硬件條件下根本進(jìn)不了門(mén)。常見(jiàn)的做法是把可訓(xùn)練參數(shù)壓到千分之一量級(jí)剩下的全部?jī)鼋Y(jié)優(yōu)化器狀態(tài)隨之縮小兩個(gè)數(shù)量級(jí)。2.2 低秩假設(shè)增量矩陣為什么可以拆成兩個(gè)瘦矩陣PEFT 里影響最大的是 LoRA。它的核心假設(shè)是把預(yù)訓(xùn)練權(quán)重 W 適配到下游任務(wù)時(shí)所需的改動(dòng) ΔW 并不需要滿秩它的有效秩遠(yuǎn)小于矩陣維度。這個(gè)假設(shè)有直觀支撐——預(yù)訓(xùn)練模型已經(jīng)學(xué)到了通用的語(yǔ)言表征下游任務(wù)更多是在做「方向上的微調(diào)」而不是重建整個(gè)表征空間。于是 ΔW 被分解成兩個(gè)瘦矩陣的乘積B ∈ R^{d×r}A ∈ R^{r×k}其中 r 遠(yuǎn)小于 d 和 k。前向計(jì)算變成 h Wx (α/r)·BAx。原始權(quán)重 W 凍結(jié)不更新梯度只流過(guò) A 和 B可訓(xùn)練參數(shù)量從 d×k 降到 r×(dk)。以一個(gè) 4096×4096 的投影層為例滿秩是 1677 萬(wàn)參數(shù)取 r8 之后只有 6.5 萬(wàn)壓縮了 256 倍。兩個(gè)初始化細(xì)節(jié)值得說(shuō)清楚很多人照著抄但不知道為什么要這么寫(xiě)import torch import torch.nn as nn class LoRALinear(nn.Module): def __init__(self, base: nn.Linear, rank: int 8, alpha: int 16, dropout: float 0.05): super().__init__() self.base base # 凍結(jié)原始權(quán)重只保留前向不產(chǎn)生梯度也不進(jìn)優(yōu)化器狀態(tài) for p in self.base.parameters(): p.requires_grad False in_dim, out_dim base.in_features, base.out_features # A 用小方差高斯初始化B 置零 # 訓(xùn)練第 0 步時(shí) BA 恒為 0模型行為與底座完全一致不會(huì)一上來(lái)就打亂預(yù)訓(xùn)練知識(shí) self.A nn.Parameter(torch.randn(in_dim, rank) * 0.02) self.B nn.Parameter(torch.zeros(rank, out_dim)) # alpha 固定時(shí)改 rank 不必重調(diào)學(xué)習(xí)率scale 自動(dòng)補(bǔ)償 self.scale alpha / rank self.drop nn.Dropout(dropout) def forward(self, x): # 主干照常走旁路疊加一個(gè)低秩增量 return self.base(x) self.drop(x self.A self.B) * self.scale參數(shù)的含義需要逐個(gè)交代。rank是低秩分解的秩直接決定新增參數(shù)量和表達(dá)能力alpha是縮放系數(shù)最終生效的縮放是alpha / rank這樣在實(shí)驗(yàn)里把 rank 從 8 調(diào)到 64 時(shí)不必同步調(diào)整學(xué)習(xí)率否則每次調(diào)秩都要重新搜一遍超參血淚經(jīng)驗(yàn)。dropout 加在旁路而不是主干上是為了在對(duì)齊階段抑制 LoRA 分支的過(guò)擬合同時(shí)不擾動(dòng)已經(jīng)凍結(jié)的底座行為。推理階段還有一個(gè)關(guān)鍵性質(zhì)訓(xùn)練完成后可以把增量合并回主干W W scale·BA得到一個(gè)與原始結(jié)構(gòu)完全相同的權(quán)重。合并之后推理沒(méi)有任何額外延遲這是 LoRA 相對(duì)其他適配器方案最大的工程優(yōu)勢(shì)——部署側(cè)不需要為「適配」付出成本。2.3 QLoRA 與 AdaLoRA量化和秩預(yù)算各自解決什么問(wèn)題LoRA 把優(yōu)化器狀態(tài)壓下去了但底座權(quán)重仍然以 fp16 駐留。QLoRA 的做法是把凍結(jié)的底座量化到 4bitNF4 格式梯度只流過(guò) fp16 的 LoRA 旁路反向傳播時(shí)量化權(quán)重被臨時(shí)反量化用于計(jì)算。NF4 不是隨便拍的 4bit 分桶它的量化格點(diǎn)按正態(tài)分布的分位數(shù)布置對(duì)近似服從正態(tài)的權(quán)重分布而言信息損失最小。再疊加雙重量化和分頁(yè)優(yōu)化器應(yīng)對(duì)顯存尖峰一個(gè) 7B 模型微調(diào)的顯存門(mén)檻能壓到一張消費(fèi)級(jí)卡的量級(jí)。代價(jià)要說(shuō)清楚反量化引入的數(shù)值誤差會(huì)讓收斂曲線抖動(dòng)更大學(xué)習(xí)率通常要比 fp16 訓(xùn)練調(diào)低一檔量化后的底座在某些長(zhǎng)尾 token 上的表征會(huì)輕微退化如果你的任務(wù)對(duì)細(xì)粒度實(shí)體特別敏感需要在小樣本上先做一次回歸驗(yàn)證。AdaLoRA 解決的是另一個(gè)問(wèn)題秩預(yù)算怎么分配。固定 rank 意味著每一層被分配的容量相同但實(shí)際上一部分層對(duì)任務(wù)適配幾乎不敏感另一部分層很敏感。AdaLoRA 把增量參數(shù)化成 SVD 形式 PΛQ把 Λ 的對(duì)角元素當(dāng)作重要性分?jǐn)?shù)訓(xùn)練中周期性裁剪掉分?jǐn)?shù)低的奇異值把騰出來(lái)的預(yù)算分給真正需要的層。它的收益在多層、多任務(wù)的場(chǎng)景下才明顯單任務(wù)微調(diào)里固定 rank 往往已經(jīng)夠用。至于秩怎么選我的經(jīng)驗(yàn)是看任務(wù)距離預(yù)訓(xùn)練分布有多遠(yuǎn)輸出風(fēng)格、格式、語(yǔ)氣這類(lèi)調(diào)整rank 4 到 8 足夠注入特定領(lǐng)域的術(shù)語(yǔ)和表達(dá)習(xí)慣32 到 64 比較穩(wěn)要讓模型學(xué)會(huì)一套新的推理模板或多任務(wù)混合得往上加。另一個(gè)常被忽略的點(diǎn)是掛載位置——attention 的 q、k、v、o 四個(gè)投影全掛通常比只掛 q、v 更穩(wěn)定MLP 層掛不掛取決于任務(wù)是否需要改變知識(shí)本身。3. 對(duì)齊的三條路線從人類(lèi)偏好到一個(gè)可優(yōu)化的標(biāo)量3.1 獎(jiǎng)勵(lì)模型把「哪個(gè)回答更好」壓成一個(gè)數(shù)監(jiān)督微調(diào)教會(huì)模型「怎么答」對(duì)齊解決的是「答哪個(gè)更好」。人類(lèi)沒(méi)法直接給出一個(gè)連續(xù)的打分函數(shù)能提供的只有成對(duì)比較同一問(wèn)題下回答 A 比回答 B 好。獎(jiǎng)勵(lì)模型要做的事就是把這種離散偏好擬合成一個(gè)標(biāo)量函數(shù) r(x, y)。常見(jiàn)的建模方式是 Bradley-Terry假設(shè)回答 y_w 優(yōu)于 y_l 的概率為 σ(r(x,y_w) ? r(x,y_l))訓(xùn)練目標(biāo)就是最大化這個(gè)似然的負(fù)對(duì)數(shù)L_RM ?log σ(r(x, y_w) ? r(x, y_l))這個(gè)形式有個(gè)容易被忽略的性質(zhì)它只約束兩個(gè)分?jǐn)?shù)的差值不約束絕對(duì)水平所以獎(jiǎng)勵(lì)模型的輸出是一個(gè)相對(duì)量不能直接當(dāng)置信度用。更要緊的是獎(jiǎng)勵(lì)模型學(xué)到的是標(biāo)注者的偏好分布不是客觀正確性。標(biāo)注時(shí)如果偏好更長(zhǎng)、更結(jié)構(gòu)化、更禮貌的回答這些表面特征就會(huì)被固化進(jìn)獎(jiǎng)勵(lì)函數(shù)后面策略優(yōu)化會(huì)毫不猶豫地去刷這些特征。這是對(duì)齊階段大量問(wèn)題的源頭。3.2 PPO四個(gè)模型同時(shí)在顯存里代價(jià)到底在哪有了獎(jiǎng)勵(lì)模型策略優(yōu)化就是在做一件事讓策略生成的回答拿到更高的獎(jiǎng)勵(lì)。樸素做法會(huì)立刻翻車(chē)——策略會(huì)找到獎(jiǎng)勵(lì)模型的漏洞生成一堆在獎(jiǎng)勵(lì)模型眼里分很高、在人看來(lái)毫無(wú)意義的輸出。這就是 reward hacking。PPO 的應(yīng)對(duì)是加一個(gè) KL 懲罰項(xiàng)把當(dāng)前策略拴在參考模型附近目標(biāo) E[r(x,y)] ? β·KL(π_θ ‖ π_ref)參考模型 π_ref 通常是監(jiān)督微調(diào)后的那個(gè)版本全程凍結(jié)。β 控制約束強(qiáng)度太小壓不住漂移太大等于沒(méi)學(xué)。PPO 本身的截?cái)嗄繕?biāo)把重要性采樣比限制在 [1?ε, 1ε] 區(qū)間內(nèi)避免一次更新把策略推得太遠(yuǎn)。工程上的代價(jià)在于同時(shí)駐留的模型數(shù)量策略模型、價(jià)值模型估計(jì)基線、獎(jiǎng)勵(lì)模型、參考模型四個(gè)都在顯存里。哪怕用 LoRA 只訓(xùn)練策略和價(jià)值兩個(gè)獎(jiǎng)勵(lì)和參考兩個(gè)推理態(tài)模型也各占一份權(quán)重。這就是為什么很多團(tuán)隊(duì)在資源受限時(shí)會(huì)轉(zhuǎn)向更輕的對(duì)齊方案。3.3 DPO為什么可以把獎(jiǎng)勵(lì)模型整個(gè)消掉DPO 的推導(dǎo)是這條線上最漂亮的一步值得完整走一遍。帶 KL 約束的策略優(yōu)化問(wèn)題存在閉式最優(yōu)解π*(y|x) ∝ π_ref(y|x) · exp(r(x,y) / β)把它反解獎(jiǎng)勵(lì)可以被策略本身表達(dá)出來(lái)r(x,y) β·log(π*(y|x) / π_ref(y|x)) β·log Z(x)把這個(gè)表達(dá)式代回 Bradley-Terry 的偏好損失配分函數(shù) Z(x) 在同一個(gè)問(wèn)題的兩個(gè)回答相減時(shí)被消掉獎(jiǎng)勵(lì)模型就從式子里消失了。剩下的損失只依賴(lài)策略模型和參考模型對(duì)兩條回答的 log 概率import torch import torch.nn.functional as F def dpo_loss(policy_chosen_logp, policy_rejected_logp, ref_chosen_logp, ref_rejected_logp, beta: float 0.1): policy_*_logp: 當(dāng)前策略對(duì) chosen / rejected 整條序列的 log 概率之和 ref_*_logp: 參考模型通常為 SFT 后的凍結(jié)模型對(duì)同一序列的 log 概率之和 beta: KL 約束強(qiáng)度越小越敢偏離參考模型 # 隱式獎(jiǎng)勵(lì)策略相對(duì)參考模型的概率比取對(duì)數(shù)后即 log(pi / pi_ref) chosen_reward beta * (policy_chosen_logp - ref_chosen_logp) rejected_reward beta * (policy_rejected_logp - ref_rejected_logp) # Bradley-Terry 形式拉大 chosen 與 rejected 的隱式獎(jiǎng)勵(lì)差 loss -F.logsigmoid(chosen_reward - rejected_reward).mean() # 訓(xùn)練中通常監(jiān)控這兩個(gè)量若 chosen 與 rejected 同步上升說(shuō)明模型在整體漂移 return loss, chosen_reward.detach(), rejected_reward.detach()參數(shù)beta是這里唯一需要認(rèn)真調(diào)的東西它同時(shí)扮演兩個(gè)角色既是 KL 約束的強(qiáng)度也是隱式獎(jiǎng)勵(lì)的縮放系數(shù)。beta 取 0.1 是常見(jiàn)起點(diǎn)取太小模型會(huì)激進(jìn)偏離參考分布表現(xiàn)為輸出變得極端或開(kāi)始重復(fù)取太大則幾乎學(xué)不動(dòng)損失曲線貼在 log 2 附近不動(dòng)。DPO 的代價(jià)也要講清楚它是離線的偏好數(shù)據(jù)在訓(xùn)練前就固定了優(yōu)化過(guò)程中不會(huì)生成新樣本再去問(wèn)獎(jiǎng)勵(lì)模型。這意味著它沒(méi)法自我糾偏數(shù)據(jù)集里的標(biāo)注噪聲會(huì)被原樣學(xué)進(jìn)去同時(shí)當(dāng)策略更新后分布已經(jīng)偏離數(shù)據(jù)分布那些樣本提供的梯度信號(hào)會(huì)變?nèi)酢PO 的在線采樣能覆蓋這個(gè)問(wèn)題但要多付出四模型駐留和采樣吞吐的成本。這是一次典型的取舍用離線換顯存用在線換穩(wěn)定。3.4 RLAIF 與成文原則把標(biāo)注成本轉(zhuǎn)成可 review 的文檔RLAIF 的思路是用一個(gè)能力更強(qiáng)的模型替代人類(lèi)做偏好標(biāo)注成本能下降一到兩個(gè)數(shù)量級(jí)且標(biāo)注一致性更好——同一個(gè)模型對(duì)同一對(duì)回答的判斷不會(huì)因?yàn)槠诙?。代價(jià)是偏見(jiàn)繼承強(qiáng)模型的偏好會(huì)原樣傳遞給被訓(xùn)練的模型尤其在涉及價(jià)值判斷的維度上學(xué)生會(huì)學(xué)到老師的風(fēng)格而非客觀標(biāo)準(zhǔn)。Constitutional AI 在這個(gè)基礎(chǔ)上又推了一步不給模型看人類(lèi)偏好給它一份成文的原則清單讓它按原則批判自己的輸出、修訂再用修訂前后的回答構(gòu)造偏好對(duì)。機(jī)制上的關(guān)鍵點(diǎn)在于原則是一份可以被人逐條 diff、逐條 review 的文本而不是彌散在幾千條標(biāo)注里的隱性偏好。出了問(wèn)題你能定位到是哪條原則寫(xiě)歪了要調(diào)整行為改文檔比重新標(biāo)注便宜得多。風(fēng)險(xiǎn)也隨之轉(zhuǎn)移——原則本身的覆蓋度和表述質(zhì)量成了新的瓶頸一條含糊的原則會(huì)被模型優(yōu)化出各種意料之外的行為。4. 生產(chǎn)環(huán)境的幾個(gè)硬約束幻覺(jué)、偏見(jiàn)與顯存墻的機(jī)制拆解4.1 幻覺(jué)的三個(gè)根源數(shù)據(jù)、解碼、評(píng)估幻覺(jué)不是模型的 bug是訓(xùn)練目標(biāo)的必然結(jié)果。語(yǔ)言模型的預(yù)訓(xùn)練目標(biāo)是最大化下一個(gè) token 的似然它學(xué)的是「什么樣的續(xù)寫(xiě)符合語(yǔ)料的分布」而不是「什么樣的陳述符合事實(shí)」。這兩件事在大部分語(yǔ)料上重合但在長(zhǎng)尾實(shí)體、時(shí)效性信息、具體數(shù)值上會(huì)分叉模型會(huì)用分布上最合理的表述去填補(bǔ)它并不知道的空白。第一層根源在數(shù)據(jù)訓(xùn)練語(yǔ)料里沒(méi)有、或者只出現(xiàn)過(guò)一兩次的事實(shí)模型的表征非常弱檢索時(shí)找不到支撐解碼時(shí)就只能靠鄰近語(yǔ)義猜。第二層在解碼采樣溫度越高、top-p 越寬模型越容易走到低概率但表達(dá)流暢的路徑上這就是為什么同一問(wèn)題問(wèn)兩遍答案會(huì)不一樣。貪心解碼能降低隨機(jī)性但降低不了系統(tǒng)性的事實(shí)錯(cuò)誤。第三層在評(píng)估模型對(duì)自身輸出的正確性沒(méi)有校準(zhǔn)信號(hào)它生成每個(gè) token 時(shí)的概率反映的是語(yǔ)言流暢度不是事實(shí)置信度。對(duì)應(yīng)的緩解手段要按層次拆分檢索增強(qiáng)把答案從參數(shù)里搬到上下文直接消除第一層問(wèn)題約束解碼和結(jié)構(gòu)化輸出限制第二層的發(fā)散空間自一致性投票同一問(wèn)題多次采樣取多數(shù)用采樣成本換準(zhǔn)確率引用溯源則要求每個(gè)結(jié)論都指向原文片段讓第三層問(wèn)題變成可人工復(fù)核的流程。企業(yè)場(chǎng)景里最后這條往往比模型本身更重要——用戶要的不是「模型不犯錯(cuò)」而是「錯(cuò)了能被發(fā)現(xiàn)」。4.2 偏見(jiàn)從哪來(lái)訓(xùn)練分布、解碼放大、反饋回路偏見(jiàn)的傳導(dǎo)鏈路比幻覺(jué)更長(zhǎng)。第一階段是分布不平衡語(yǔ)料中某些群體、職業(yè)、地域的出現(xiàn)頻率和共現(xiàn)模式本身就帶傾向模型忠實(shí)地學(xué)到了這些共現(xiàn)。第二階段是解碼放大就算模型內(nèi)部表征只是輕微偏斜生成時(shí)高頻 token 的路徑會(huì)更占優(yōu)勢(shì)輸出側(cè)看起來(lái)比內(nèi)部統(tǒng)計(jì)更極端。第三階段是反饋回路如果用模型的輸出繼續(xù)訓(xùn)練后續(xù)模型偏斜會(huì)被一代代放大。工程上能做的是分層攔截?cái)?shù)據(jù)側(cè)做配平與去重對(duì)齊階段用偏好數(shù)據(jù)壓制明顯的刻板表述輸出側(cè)加一層分類(lèi)器過(guò)濾最后用紅隊(duì)測(cè)試把攔截效果量化成指標(biāo)。紅隊(duì)測(cè)試在這條鏈路里的位置很關(guān)鍵它不是上線前跑一次就完事的動(dòng)作而是每次模型或提示詞變更后都要回歸的測(cè)試集。4.3 KV Cache長(zhǎng)上下文真正的成本在顯存不在算力很多人以為長(zhǎng)上下文的瓶頸是注意力復(fù)雜度的平方項(xiàng)實(shí)際上線上更先撞到的是顯存。自回歸解碼時(shí)每一步都要復(fù)用前面所有 token 的 key 和 value這部分緩存隨序列長(zhǎng)度線性增長(zhǎng)def kv_cache_bytes(num_layers: int, num_kv_heads: int, head_dim: int, seq_len: int, batch: int, dtype_bytes: int 2) - int: num_layers: transformer 層數(shù) num_kv_heads: key/value 的頭數(shù)GQA 下小于 query 頭數(shù)這是省顯存的關(guān)鍵 head_dim: 單頭維度 seq_len: 序列長(zhǎng)度batch: 并發(fā)請(qǐng)求數(shù) dtype_bytes: fp16 為 2int8 量化為 1 # K 和 V 各存一份所以乘 2 per_token 2 * num_layers * num_kv_heads * head_dim * dtype_bytes return per_token * seq_len * batch # 32 層、32 個(gè) KV 頭、單頭 128 維、fp16、4K 上下文、并發(fā) 8 print(kv_cache_bytes(32, 32, 128, 4096, 8) / 1024**3, GB)算出來(lái)的數(shù)字是 16GB而模型權(quán)重本身才 14GB。也就是說(shuō)并發(fā) 8 路 4K 上下文的請(qǐng)求KV Cache 的顯存開(kāi)銷(xiāo)已經(jīng)超過(guò)權(quán)重。這個(gè)比例解釋了幾件事為什么長(zhǎng)上下文服務(wù)的并發(fā)數(shù)上不去為什么 batch size 調(diào)大之后吞吐反而不漲為什么同樣的模型在短請(qǐng)求上表現(xiàn)正常、一遇到長(zhǎng)文檔就 OOM。真正有效的優(yōu)化都作用在這個(gè)公式的某個(gè)因子上。GQA 把 num_kv_heads 從等于 query 頭數(shù)降到它的 1/8直接讓 KV Cache 縮到八分之一質(zhì)量損失在多數(shù)任務(wù)上小到測(cè)不出來(lái)這是目前開(kāi)源模型默認(rèn)采用的結(jié)構(gòu)。分頁(yè)管理把 KV Cache 切成固定大小的塊按需分配消除因變長(zhǎng)請(qǐng)求造成的顯存碎片把浪費(fèi)掉的那部分顯存換回并發(fā)。KV 量化把 dtype_bytes 從 2 降到 1再省一半代價(jià)是長(zhǎng)序列上的精度損失需要單獨(dú)驗(yàn)證。分塊預(yù)填充則是在計(jì)算側(cè)做優(yōu)化把長(zhǎng) prompt 的預(yù)填充切段處理避免瞬時(shí)顯存峰值。4.4 長(zhǎng)上下文不是免費(fèi)的午餐即便顯存扛住了把窗口從 4K 拉到 128K 也不等于模型真的能用好這 128K。注意力在長(zhǎng)序列上的權(quán)重分布會(huì)變得平坦中間位置的信息容易在池化過(guò)程中被稀釋形成「開(kāi)頭記得、結(jié)尾記得、中間的忘了」的現(xiàn)象。位置編碼的外推能力也是有限的超出訓(xùn)練長(zhǎng)度之后的相對(duì)位置關(guān)系會(huì)失真。工程上的對(duì)策是別硬撐能靠檢索定位到相關(guān)片段就不要把整份文檔塞進(jìn)上下文必須長(zhǎng)上下文時(shí)把關(guān)鍵指令放在開(kāi)頭和結(jié)尾把待處理材料放中間并顯式要求模型先復(fù)述再回答。這些不是玄學(xué)都是從注意力的實(shí)際行為反推出來(lái)的用法。5. 上線前的排查五條踩過(guò)的坑每條都能讓項(xiàng)目延期一周5.1 訓(xùn)練側(cè)的三筆血淚賬坑一損失曲線漂亮推理輸出全是復(fù)讀機(jī)。現(xiàn)象是訓(xùn)練 loss 平穩(wěn)下降驗(yàn)證集 perplexity 也好看但模型一上線就開(kāi)始重復(fù) prompt 里的句子。原因幾乎都出在標(biāo)簽構(gòu)造上指令微調(diào)的數(shù)據(jù)里prompt 部分和 answer 部分被一起計(jì)算了損失模型學(xué)到的是「續(xù)寫(xiě)用戶的話」而不是「回答用戶的話」。解決辦法是在構(gòu)造 labels 時(shí)把 prompt 對(duì)應(yīng)的位置全部置為 -100讓交叉熵只作用于回答部分。這個(gè)錯(cuò)誤在自建數(shù)據(jù)管線上出現(xiàn)的頻率高得驚人而且從 loss 曲線上完全看不出來(lái)??佣﨤oRA 權(quán)重合并后效果掉一截。現(xiàn)象是帶著適配器推理一切正常合并進(jìn)主干之后回答質(zhì)量明顯下降。原因通常是縮放系數(shù)在兩處計(jì)算不一致——訓(xùn)練時(shí)旁路乘了 alpha/rank合并腳本里漏乘或者用了 alpha 本身。另一種情況是掛載的層名匹配不完整訓(xùn)練時(shí)正則匹配到了 q、k、v、o合并時(shí)只匹配到 q_proj 和 v_proj剩下的增量被丟掉。解決辦法是把合并后的權(quán)重和「主干 適配器」的輸出在相同輸入上做逐 token 對(duì)比最大絕對(duì)誤差應(yīng)該在小數(shù)點(diǎn)后幾位超出就說(shuō)明合并邏輯有問(wèn)題??尤龑?duì)齊之后模型變啰嗦長(zhǎng)度爆炸?,F(xiàn)象是 DPO 或 PPO 訓(xùn)練幾輪之后輸出長(zhǎng)度持續(xù)增長(zhǎng)回答開(kāi)始堆砌套話。原因是偏好數(shù)據(jù)里 chosen 的平均長(zhǎng)度顯著大于 rejected長(zhǎng)度本身成了區(qū)分兩者的捷徑特征模型優(yōu)化的其實(shí)是「寫(xiě)長(zhǎng)」。解決辦法是在構(gòu)造偏好對(duì)時(shí)做長(zhǎng)度配平或者對(duì)隱式獎(jiǎng)勵(lì)做長(zhǎng)度歸一化用平均 log 概率而非求和。這個(gè)問(wèn)題在人工標(biāo)注數(shù)據(jù)上尤其普遍因?yàn)闃?biāo)注者天然傾向于認(rèn)為更長(zhǎng)的回答更完整。5.2 推理與上線側(cè)的兩條坑四量化之后精度斷崖式下跌?,F(xiàn)象是 4bit 量化后大部分樣例正常但在數(shù)值、日期、專(zhuān)有名詞上錯(cuò)誤率明顯升高。原因是逐張量量化把整個(gè)矩陣壓到同一組縮放因子下而激活值里存在少量幅度極大的離群通道它們會(huì)拉大縮放范圍讓其余通道的有效位寬被壓縮。解決辦法是改用分組量化或逐通道量化把離群通道隔離出來(lái)embedding 層和輸出層保持高精度不動(dòng)量化后用一套固定的評(píng)測(cè)集做回歸重點(diǎn)看數(shù)字和實(shí)體類(lèi)的準(zhǔn)確率而不是只看平均分??游彘L(zhǎng)文檔請(qǐng)求把服務(wù)打掛。現(xiàn)象是短請(qǐng)求壓測(cè)一切正常一上長(zhǎng)文檔就出現(xiàn)超時(shí)和 OOM。原因是容量規(guī)劃只按平均長(zhǎng)度算而線上長(zhǎng)度分布是長(zhǎng)尾的少數(shù)超長(zhǎng)請(qǐng)求會(huì)瞬間占滿 KV Cache。解決辦法是按分位數(shù)而非均值做容量規(guī)劃給單請(qǐng)求的最大長(zhǎng)度設(shè)硬上限超出的走分塊處理同時(shí)開(kāi)啟分頁(yè)式的 KV 管理和分塊預(yù)填充把峰值攤平。上線前用真實(shí)長(zhǎng)度分布回放一遍流量比任何合成壓測(cè)都準(zhǔn)。6. 設(shè)計(jì)取舍企業(yè)級(jí)方案最后為什么都收斂到「可審計(jì)」把這條鏈走完會(huì)發(fā)現(xiàn)一個(gè)規(guī)律技術(shù)選型的分歧到最后都會(huì)收斂到同一個(gè)判斷標(biāo)準(zhǔn)——這套東西出問(wèn)題時(shí)你能不能查清楚、能不能回滾、能不能向業(yè)務(wù)方解釋。LoRA 勝過(guò)全量微調(diào)一半原因是省顯存另一半原因是適配器是一個(gè)獨(dú)立文件可以按版本灰度、按需加載、出問(wèn)題直接摘掉。DPO 在很多團(tuán)隊(duì)里替代 PPO不只是因?yàn)槭〉羲膫€(gè)模型更因?yàn)樗挠?xùn)練過(guò)程是確定性的、可復(fù)現(xiàn)的同一份數(shù)據(jù)跑兩遍結(jié)果一致。Constitutional AI 的價(jià)值也不在效果本身而在于它把「模型應(yīng)該怎么表現(xiàn)」寫(xiě)成了一份可以逐條評(píng)審、逐條修改的文檔。能力維度風(fēng)險(xiǎn)維度生產(chǎn)約束常見(jiàn)取舍全量微調(diào)的效果上限災(zāi)難性遺忘、不可回滾顯存與訓(xùn)練成本改用低秩適配保留可摘除的增量在線 RL 的探索能力reward hacking、訓(xùn)練不穩(wěn)定四模型駐留、采樣吞吐轉(zhuǎn)離線偏好優(yōu)化換確定性長(zhǎng)上下文的覆蓋度中間遺忘、成本失控KV Cache 顯存、并發(fā)數(shù)檢索優(yōu)先長(zhǎng)上下文兜底Agent 的自主性越權(quán)調(diào)用、循環(huán)失控工具權(quán)限、超時(shí)預(yù)算工具白名單 步數(shù)上限 人工確認(rèn)對(duì)齊的強(qiáng)度過(guò)度拒答、能力損失用戶滿意度分場(chǎng)景配置不同的對(duì)齊檔位紅隊(duì)測(cè)試在這個(gè)框架里的位置因此變了。它不是安全團(tuán)隊(duì)的一次性驗(yàn)收而是整個(gè)系統(tǒng)的回歸測(cè)試集每改一次提示詞、換一次模型、調(diào)一次對(duì)齊強(qiáng)度都要重跑一遍看拒答率、越獄成功率、敏感信息泄露率有沒(méi)有回退。把這些指標(biāo)做成 CI 里的一道門(mén)禁比寫(xiě)一百頁(yè)安全規(guī)范都管用。Agent 類(lèi)的系統(tǒng)尤其如此自主性越強(qiáng)可執(zhí)行的行動(dòng)越多越需要把權(quán)限邊界和步數(shù)預(yù)算寫(xiě)死在編排層而不是指望模型自己收斂。給 Agent 的每個(gè)工具調(diào)用都留審計(jì)日志是出事之后唯一的后悔藥。從那以后我每次推動(dòng)一個(gè)模型上線都強(qiáng)制走一遍同樣的動(dòng)作先在真實(shí)長(zhǎng)度分布上回放流量再把合并后的權(quán)重與適配器版本做逐 token 對(duì)比最后跑一遍紅隊(duì)回歸集并記錄指標(biāo)變化。這三步花不了半天但攔住過(guò)好幾次本來(lái)會(huì)讓項(xiàng)目延期一周的問(wèn)題。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷色成人| 激情综合网激情五月天| 2020夜夜操天天爽| 天天色综合天天| 性爱网六月丁香| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 色狠狠综合网| 色婷婷的五月天| 六月丁香五月激情网| 婷婷视频网| 色播五月丁香综合| 婷婷六月成人| 婷婷五月色播天| 婷婷久久五月天| 午夜色婷婷| 六月婷婷色综合| 去干网最新版本亚洲版| 丁香婷停五月激情综合深爱| 思思99精品视频在线观看| 成人片在线播放| 啪啪夜久久| 超级碰碰碰久久网站视频| 国产精品久久久久久喷浆| 色综合色色色| 婷婷色五月激情| 九九热最新| 亚洲bt丁香五月天婷婷激情小说| 婷婷色五月天综合网| 开心久久五月天| 婷婷色网站| 色www.con| 婷婷五月在线| 葵花AV在线| 日99网站| 99热在线观看| 亚洲熟妇AV乱码在线观看| 色色性爱视频| 激情综合色| 成人网在线视频| 美女丁香五婷婷| 久久亚洲婷婷| 日日夜夜综合| 亚洲bt丁香五月天婷婷激情小说| 日撸夜撸日操| 久久婷婷五月天综合| 69婷婷丁香午夜| 亚洲精品乱码久久久久99| 色色色色综合网| 婷婷五月丁香91| 超碰人人99| 99在线一区| AV片在线观看| 91九九热| 密视AV综合在线| 日本97在线观看| 婷婷五月五月丁香| 在线色婷婷| 激情五月天久久| 成人.在线日韩| 国产乱妇乱子在线播视频播放网站 | 操操操AV| 五月激情婷婷在线| 日日爽夜夜爽| 亚洲人妻电影| 久久久久久久97| www.97碰碰com| 2017人人操| 超碰不卡在线| 大香蕉精品视频| 丁香蜜臀黄色婷婷五月天| 狠狠色丁香婷婷久久综合| 欧美色性色好| 婷婷九月亚洲| 色一情一乱一乱一区91Av| 久久机热/这里只有精品| 五月激情婷婷丁香| 欧美日韩91| 人人爱操| 亚洲天堂婷婷丁香| 精品国婬伦V无码久久久| 欧美一级a | 视频1区2区| 中文在线成人| 欧美精产国品一二三区| 六月婷婷天天操夜夜爽视频| 激情涩涩网| 九九99视频精品| 天天视频亚洲| 婷婷五月综合啪| 丁香五月婷婷Av| 日日影院 | 久久九九综合| 婷婷丁香激情综合色情| 天天色噜| 91人人爽久久涩噜噜噜| 色色婷婷综合网| 国产乱码久久| 欧美99| www.97干视频| 人人操91色| 操碰色一区就去操| 激情文学综合婷婷五月天丁香花| 色五月激情五月| 五月丁香黄色视频| 丁香五月天.com| 日日爱699| 婷婷成人综合免费视频| 色五月激情五月丁香五月婷婷啪啪综合 | 热久免费视频9| 亚洲精品V天堂中文字幕| 九九黄色网| 婷婷五月天天爽| 啪到高潮激情丁香五月| 天天干天天操天天爱| 日本狠狠爽| 99爱视频精品| site:xmssd.com| AV在线观看网站| 日本三级网址| 97se视频在线| 六月婷婷久久| 欧美99视频| 激情综合在线播放| 丁香六月激情| 五月婷婷香蕉| 99热在线播放| 亚洲精品网站色视频| 日韩欧美一级大黄网站| 字幕网AV中文字幕| 婷婷久久国产视频| 婷婷五月天福利| 91人人爽人人操| 99热这里有精品6| 婷婷五月色天| 国产精品岛国片在线观看免费| 噜噜色五月| 天天爽,夜夜爽| 嫩草AV久久伊人妇女超级A| 五月天婷婷网站888| 天天碰天天插天天操| 久久综合中文| 久久六月天| 日日日日操| 欧美性生交XXXXX无码小说| 五月丁香花激情综合网| 999久久久国产精品| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 开心五月丁香综合久久| 大地资源色婷婷视频在线| 国产精品成人AV在线| 婷婷五月无码| 五月激情婷婷国产精品久久久久久| 久久久99精品| 久久3级片| 99爱最新免费视频在线观看| 色色色激情网| 欧美成人精品一区二区 | 大香蕉婷婷| 色综合久久88色综合天天看| 丁香五月在线自慰| 欧美精品99久久久| 色五月首页| 日本三级中国三级99人妇网站| 色播播五月| 成人免费120分钟啪啪| 任你爽视频| 超碰九九热| 91人人妻人人操| 色五月婷婷影院| 日B日潘金莲BB| 思思99re这里只有| 五月天激情日色在线| 亚洲五月情| 国产乱妇乱子在线播视频播放网站| 久久久妻人人人| 色综合五月| 欧美欧盟性爱网| 少妇综合网| 五月婷婷干干干| 激情五月天 婷婷| 色99视频| 九九9久九9国产视频| caopeng97日韩| 丁香婷婷欧美综合| 99热精品在线| 五月婷婷狠天天色综合| 色黄啪啪| 婷婷五月色播放| 久久综合丁香五月| 狠狠干.com| 天天射色五月天| 丁香五月婷婷香| 久久丁香五月婷| 日韩黄色电影| 蜜桃五月天| 丁香五月亚洲| 天天狠天天狠| 91精品视频男人的天堂| 九九99在线免费在线观看视频| 激情综合网之激情五月| AV网在线观看| 五月婷婷激情综合| 丁香五月天堂网| 日韩成人中文字幕| 五月天婷婷Av| 这里只有精品1| 囯产精品一品二区三区| 色碰碰视频| 91中文狠狠综合| 日韩精品VIP| 久久久.COM| 五月激情开心婷婷| 人人97碰| 婷婷五月天国产性感美女演员久久久久| 性生活视频98791| 五月人人丁香婷婷五月人人丁香| 99九九玖玖| 99精品无码| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 色哟哟性爱av| 99.色| 久久久久激情网| 久草热久草在线视频| 欧美激情久| 亚洲美女婷婷五月天| 亚洲精品激情| 国产午夜精品AV一区二区麻豆| 极品五月天| 激情婷婷五月天。| 国产欧美va| 色色色热| 亚洲激情婷婷| 丁香五月亚综合图片| 国产在线6| 欧美性生交XXXXX无码小说| nvrentiantang av| 激情婷婷99| 99九九精品| 激情综合色婷婷啪啪六月天| 午夜九九电影| 丁香五月天色| 午夜大香蕉| 狼人婷婷综合| 亚洲色色五月天| 五月婷婷 激情按摩| 亚洲av骚货| 婷婷五月天色播| 天天艹天天综合网| 久久久婷婷婷| WWW久久久| 婷婷五月天网址| 色色五月婷婷网| 久久久久婷婷| 国产成人精品一区二三区熟女在线| 丁香五月人妻| 色九月婷婷丁香| 色欲AV导航| 夜夜夜夜做天天天做无码视频| 欧美97色| 九九色欲网| 婷婷五月激情综合啪啪| 人妻五月天激情开心网| 熟女国产在线一区二区三区四区| 婷婷六月丁综合| 成人草榴视频| 久久蜜臀婷婷| 久久视频这里有精品99| 天天干,夜夜爽| 色五月婷婷91| 91九色精品熟女内射| 婷婷五月激情中文字幕| 97色天堂| 色五月在线观看| 成人亚洲精品| 亚洲中文无码成人| 激情五月婷婷在线| 婷婷俺去也| 99热国产免费| 九九综合九九| 九九这里只有精品| 婷婷字幕在线| 日本欧特黄色刺激一区影视久精品无码| 97ai婷婷| 91超碰人人操| 99视频精品全部免费 在线| 他改变了拜占庭| 久久综合丁香五月| 五月天夜夜爱夜夜操| 五月婷婷六月婷| 99热这| 中文在线视频久1| 五月婷婷激情五月| WWW,五月| 久久精品无码一区| 久久最新色| 五月天色综合| 婷婷伊人五月| 一起草Av| 日本韩国视频在线观看社区免费的9| 五月丁香本色在线观看| 中文久久婷婷| 天天插天天很| av在线免费网站| 国产av基地| 五月天堂婷婷| 久久婷网| 久操热线| 精品人妻一区二区三区四区不卡在| 91欧美日韩综合| 玖玖爱资源站| 婷婷久久综合| 日本天天色| 无码网| 日本狠狠干| 婷婷丁香五月天色播网站| 婷婷狠狠操| 色色精品色| 99这里| 国产永久一二一起草| 成人日韩欧美| 久久精品永久免费| 久久玖玖99| 五月色色激情网| 色婷婷女优有码五月亭| 97九色视频| www.五月天色色.com| 久久在这里99| 激情综合自拍五月婷婷色五月| 婷婷久久综合久| 综合五月亭亭9| 婷婷综合中文字幕| 深爱婷婷网| 中文字幕av亚洲| 99欧州偷拍视频| 久热伊人| 国产成人精品一区二区三区视频 | 青草性爱视频| 丁香狠狠色婷婷久久无码视频| 色婷婷五月天久久| 亚洲超碰中文字幕| 青青草蜜臀| 天天摸天天肏| 黄色一级影片| 99热只有| 亚洲 欧洲 国产 伦综合| 丁香五月婷婷亚洲色图| 亚洲综合色色色| 综合网狠狠| 五丁香激情综合| 亚洲av综合网| 玖玖色综合网| 六月婷婷八月丁香| 超级碰碰碰碰视频| 人人操AV| 91日韩美女被插视频| 婷婷深爱网| 播播网色播播| 婷婷激情五月天天天开心| 亚洲操女| 天天色视频| 婷婷综合五月天| 色九区| 丁香五月天BBw| 欧美激情伊人| 色色激情| 99国产这里只有精品| 色婷婷综合综合网| 亚洲乱码日产精品BD| 五月婷色激情五月| 婷婷色九月| 91丨九色丨43老版熟女| 狠狠激情五月天| 国产.亚洲.欧洲视频在线| 亚洲国产精品VA在线看黑人| 美女妹子后射视频网站在线观看| 日本超碰在线| 狠狠爱丁香婷| 99精品免费| 热成人网| 九九九这里只有精品| 婷婷色情 | 色婷婷激情| 五月激情婷婷图片基地| 狠狠色噜噜狠狠亚洲A∨| 婷婷视频网| 五月色婷婷激情| 久久图色4| 五月天婷婷色| 天天爽天天日人人爱| 色综色网| 五月婷婷啪啪啪| 国产精品18久久久| 五月色色激情网| 五月婷婷色情| 五月天激情黄色网址| 成人丁香五月| 丁香五月色| 五月花综合网| 五月天停停日日| 少妇高潮呻吟A片免费看软件| 激情都市丁香婷婷| 99久久久久| 国产成人AV在线| 五月噜噜噜色综合| 狠狠色综合网| 99热这里只有精| 五月丁色AV| 玖玖激情网| 欧美交换配乱吟粗大25P| 五月天丁香婷婷社区| 先锋男人99资源| 99视频35精品视频在线观看| 婷婷五月丁香四射| 久久久久人妻| 国产激情AV| 色99欧洲色19| 亚洲视频在线观看99| 六月婷色| 婷婷不卡基地| 国产精品99久久久久久久女警 | 亚洲av| 婷婷色影院| 99亚洲无码| 色色色色色级无码| 欧美va视频| 墨西哥毛片内射精| 亚洲电影在线观看| 欧洲色| 色久综合| 五月天婷婷无码视频| 77799热| 五月丁香六月婷婷啪啪| 一起草Av| 亚洲va欧美va天堂v国产综合| 天天插天天日天天爽| 丁香五月婷婷啪| 91免费啪视频| 午夜精品久久久久久久爽| 亚洲美女裸体被操在线观看| 碰97久久| 婷婷开心五月| 久久开心五月婷婷| 这里只有精品免费在线视频| 秋霞丝袜啪啪啪| 欧美大片免费播放器| 狠狠99| 婷婷爱婷婷| 国在线激情网| 婷婷激情性爱| 久久婷婷的综合色丁香五月| 新激情婷婷| 婷婷五月综合在线| 激情五月天社区| 色色色热| 思思re99视频在线观看| 久久开心五月婷婷| 色婷婷五月网| 五月永久激情| 情情五月天色| 97色五月天| AV大香蕉| 国产1区2区3区在线观| 99热综合色图| 色色色五月婷| www99久久| 在线看黄色| 婷色综合| 操比激情五月| 欧美三级大片AA在线看| 久久日婷婷| 精品久久久中文字幕大豆网推荐理由| 婷婷五月花| 色色色免费视频| AV在线观看网站| 九九亚洲| 久久综合爱| 五月丁香婷婷色色色| 深爱五月激情五月| 四月婷婷五月丁香| 九九热99免费视频| 国产99热| 日日操天天操| 国产av天堂| 免费黄色视频网址| 9久热精品在线视频| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 欧洲一区二区| 色情五月婷| 午夜激情婷婷| 五月天国产| 久久精品99| 色丁香五月| 五月丁香久久婷| 美国不卡视频| 级情九色| 五月天婷婷色小说| 五月天激情小说欧美激情| 久久久人人人妻丝丝丝| 激情六月天婷婷| AV成人在线播放| 激情床戏| 99精品偷自拍| 欧美大肥婆大肥BBBBB| 操操人人| 亚洲av免费在线| 五月天.com| 婷婷五月天色播| 97干在线| 九九草草逼| 五月深情久久| AA久久| 色狠狠色综合久久久绯色AⅤ影视 大香蕉五月天婷婷丁香91 | 啪啪色激情五月天| 大香蕉伊人久久| 婷婷五月亚洲激情| 天天综合社区| 久久久.COM| 五月天激情国产综合婷婷| 97五月婷| 久久精品国产一区二区三区四区| 五月天精品| 成人视屏在线观看| 99热在线中文字幕| 久久丝袜婷婷| 国产这里只有精品| 99热这里只有精品1| 五月婷婷色播| 天天操婷婷| 91成人看| 婷婷天天舔| 99热思思| 91男人操女人视频| 色婷婷网| 色5月丁香婷婷| 99爱精品| 999久久久国产精品| 成人精品一区二区三区四区五区 | 五月综合色播播丁香婷婷| AV成人在线网站| 亚洲这里只有精品| 婷婷中文字幕| 激情综合五月| 天天日,天天插| 六月丁香狠狠爱| 九九在线这里只有精品视频| 99区视频| 婷婷五月天综合久久日美女| 丁香婷婷久久| 丁香五月天啪啪| 色久综合| 五月丁香婷婷综合| 亚洲182在线观看| 国产精品久久..4399| 亚洲色情网站| 九九综合影音先锋 | 五月天亚洲最大成人| 啪啪婷婷五月天激情| 99视频在线9| 五月婷婷六月丁香免费| 欧美日韩123| 5Www色5夜| 天天艹夜夜爽| 婷婷五月丁香五月| 色五月婷婷天天干| 色情五月丁香| 激情丁香婷婷六月天| 丁香激情五月| 婷婷色五月大香蕉在线观看| 天天爽天天摸天天爱| 免看黄大片AA | 欧美噜噜免费观看| 久久久97| WWW久久久| 色色色婷| 97人人搞| 久久婷婷五月综合色奶水99啪| 婷婷新网址| www.五月丁香av| 国精产品一区一区三区免费视频 | 人妻六月天| 日日艹思思热| 亚洲成人AV电影网| 五月婷婷婷| 欧美碰碰| 色欲午夜无码久久久久久张津瑜| 九久久精品视频99| 可以看的AV| 91人人妻人人操| 26uuu成人网| 婷婷五月天首页激情| 婷婷丁香五月综合网上| 色婷大香蕉| 99热激情| 草一草avb| 99超级碰免费视频| 亚州激情网站无码| 狠狠爱成人综合网| 色五月婷婷一二| 久久图色4| 97九色视频| 久久新地址| www夜夜| 97久久人人操| 这里只有精品久久| 伊人五月天婷婷| 97操碰在线97| 亚洲无码99| 综合激情在线| 久久久久人妻| 丁香五月婷婷综合啪啪| 日日艹思思热| 国产精品日日躁夜夜躁| 91色久| 夜夜操狠狠操天天操| 狠狠色中色| 能看的av| 婷婷中文在线| 色综合激情图区| 五月天欧美激情| 1999天天操夜夜操| 五月激情综合网| 六月婷婷网站| 大香蕉婷婷五月| 色婷婷小说网| 婷婷五月色播放| 亚韩在线视频| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 丁香五月在线视频黑人| 玖玖五月丁香| 色播五月丁香| 欧美色频| 激情色中文| 任我肏视频精品| 色天堂在线| 婷婷激情五月天在线视频| 97色一二三| 97人人草| 久久精品视频在这里有| 欧美大奶熟女噜噜噜噜| 美女被肏网站在线看| 性爱综合网| 五月婷婷六月丁香在线视频| 99re熱| 日韩美一级毛卡片| 日产精品久久久久久久蜜臀 | 天天日婷婷| 欧洲毛片基地c区| 婷婷开心青青草| 久久九九99桃花视频| 欧美成人精品A片免费一区99| WWW.婷婷| 99色1| 婷婷放心五日爱| 久久久久婷| 成人在线观看国产| 91日韩在线| 亚洲精品色| 欧美亚洲婷婷五月| 激情色中文| 9l视频自拍9l九色9l成人| 秋霞少妇AV网站| 亚洲色五月婷婷| 婷婷六月色开 | 欧类av怡春院| 婷婷色五月激情| 51XX午夜影福利| 五月综合无码| 99热99热不卡| 久久婷婷丁香六月天| 97色啪| 久久全色| 成人无码精品1区2区3区免费看| 丁香婷婷深情五月亚洲| 综激情网| 色婷婷丁香五月天在线观看| 操操操操操电影网| 五月天激情国产综合AV| 成年AAAA色情| 26uuu淫色| WWW,色五月| 婷婷午夜精品久久久| 午夜日日| 影音先锋91| 超碰人妻公开在线| 性生生活大片又黄又| 99久久婷婷国产综合| 五月婷婷激情久久| 99热主页日本| 91chinese在线| 婷婷六月啪啪 | AV 3P| 能看的av片| 亚州视频九九99| 欧美久热| 色色五月婷婷| 99操99| 国产人妻人伦精品一区二区| 欧美成人猛片AAAAAAA| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 亚洲AV成人无码电影| 国产性爱色| 婷婷五月天丁香激情| 五月狠狠| 五月天大香蕉| 婷婷爱综合| 欧美成人网婷婷综合在线| 深爱五月天 开心网| 五月婷六月丁香| 夜夜做夜夜愛| 黄色AAAAA| nvrentiantang av| 色欲婷婷五月天丁香| xxxx久| 激情五月丁香婷婷| 热91久| 69久久久| 中文字幕在线资源| 色婷五月天亚洲| 丁香婷婷五月综合影院| 婷婷五月天久久| 91精品婷婷国产综合久久| 99操碰| 午夜]香婷婷深深爱| 伊人狠狠色婷婷综合丁香一区| 色色五月天丁香婷婷| 丁香五月婷婷久久久| 小视频一区 | 色情综合网| 亚洲蜜桃精久久久久久久久久久久| 99热最新国内| 色欲五月婷婷| 婷婷五月丁香激情色情| 99热这里都是精品| www.99热| 五月天停停日日| 思思热99er在线视频| 五月婷婷性| 丁香婷婷五月综合色情| 人人色人人摸人人看| 思思热99在线视频| 啪啪综合网| 激情AV综合| 天堂A∨在线| 天天日天天日天天搞| 4399在线日本A片| 激情五月婷婷综合网| 96精品久久久久久久久| 丁香色五月婷婷91桃色| 色五月人妻| 狠狠 久久| 九九九九九无码| 噜噜狠狠色综合久| 欧美情色一区| 婷五月天天| 五月丁香激| 亚洲丁香五月| 99久久网站| 婷婷射图| 久久人妻www| 国产亚洲成AV人片在线观黄桃| 四月婷婷五月丁香| 人人爽亚洲| 亚洲精品又粗又大又爽A片| 狼人婷婷综合| 99色色色色| 国产看真人毛片爱做A片| 99九九久久| 噜噜噜久久| 日美三级| 乱色色色| 色五月丁香com| 九九热这里都是精品6| 婷婷色狠狠| 4399啪啪视频| 99热在线播放| 大香蕉五月天| 婷婷97碰碰| 综合噜噜| 97碰碰人人视频| 天天干天天叉| 91色性感五月婷婷丁香| 99热这里只有精品13| 狠狠五月天| 亭亭色色五月天| 香蕉国产2013| 五月色婷婷影院| 五月天婷婷基地| 国产在线自| 5月婷婷激情在线| 中文字幕久久婷九女同| 综合激情五月天六月婷免费视频| AV大片在线播放| 五月婷久久| 五月花婷婷| 开心 五月 综合| 亚洲婷婷五月天| 丁香五月天激情| 久久婷婷久久| 伊人干综合| 亚洲综合色色| 色色色色色色网| 99久久久国产大片| 成人无码精品1区2区3区免费看| 亚洲精品va| 成人视频网| 丁香五月天欧美在线| 操一区| 影音先锋激情网| 五月婷婷深深爱| 色五月视频无码播放| 午夜伊人大香蕉| 婷婷的激情五月| 国产在线aaa片一区二区99| 天天拍天天做视频| 色婷婷香蕉在线| 天天久| 无语停婷丁香网| 五月综合激情网| www.精品99| 五月综合视频| 99免费视频在线观看爱| 99热欧美精品| 婷香五月激情视频| 五六月丁香激情视频| 亚洲中文AV网站| 五月婷婷偷拍| 电影蜘蛛女| 91聚色综合网| 深爱五月婷婷| 日韩综合久久| 日本精品久久久久中文字幕| 欧洲亚洲欧洲99久久| 一本婷婷丁香久久| 狠狠爱激情网| 狠狠色婷婷丁香六月| 五月天婷婷色播综合在线| 久久综合人妻| 99色精品视频| 色 噜噜 九月 婷婷| 五月丁香999| 亚洲性色XXXXX| 91seAV| 五月天色丁香| 婷婷五月花丁香| 六月丁香婷婷综合狠狠爱夜夜爱| 婷婷六月天| 直接看的AV网站| 久久激情网| 日韩不卡123| 亚洲超碰在线| 五月丁香婷爱在线| 亚洲精品色色| 久久99久久久| av在线婷婷| 六月丁香五月天| 日本久久爱| 能看的av片| 人人操AV| 91九色PORNY中文啦| 日韩成人无码| 99综合视频一体| 五月丁香在线看| 丁香六月AV| www,超碰| 99婷五月| 五月天婷婷三级黄| 五月日韩中文字幕| 久久新地址| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 久久99久久久久久| 玖玖爱导航| 日韩综合成人| 亚洲人人操| 色天堂在线| 亚洲情a| 久这里只有精品| 久久99久久99精品免观看粉| 成人国产网站在线免费看| 99久久99九九99九九九| 国产精品色色| 欧美va在线| 日日日日做夜夜夜夜无码| 91凹凸在线| 久久久色情| 九久久婷婷| 中文字幕日产A片在线看| 色色色在线观看| 婷婷五月天婷婷| 色综合爱综合| 久久五月天精品视频| 色婷婷综合亚洲| 亚洲在线视频321| 少妇综合网| 五月婷婷九| 天天日天天插天天操| 天堂爱啪啪| 婷婷五月综合色中文字幕| 超碰免费人人肏| 免费无码毛片一区二区A片 | 99久久婷婷精品视频| 欧美日韩中文国产一区发布| 五月亭亭开心网| 婷婷伊人网| 玖玖爱伊人| caop在线| 天天日天天舔| 99精在线| 影音先锋777xfplay色资源网站| 99热99精品在线观看| 色五月婷婷丁香五月| 五月丁香六月婷婷在线播放| 天天综合色综合| 久色网五月| 天天日天天干天天插天天射| 在线可以看的av网址| 亚洲va欧美va天堂v国产综合| 综合五月网| 久久激情五月天| 天天看A片| 亚洲操B| 日韩性爱AV| 大香蕉太香蕉视频97| www.91在线观看| 国产在线中文字幕| 色色综合无码| 夜夜做夜夜愛| 十一月婷婷激情四射| 五月丁香色色网| 色播五月婷婷| 成人精品视频99在线观看免费| 国产99久| 九九青草热| 天天做天天爱天天日| 丁香五月婷婷亚洲另类| 另类图片五月天| 久久久激情| 国产毛片精品一区二区色欲黄A片| 丁香五月激情五月| 欧美久久网| 婷婷5月开心6月| 天天摸色吧天天摸色吧| 色爽九九| 日韩成人中文| 色日本综合| 美臀自射自家人妻| 久久视频这里99| 玖玖热视频| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 亚洲网视屏| 国产一区二区av免费| 黄色99热| 综合激情五月四射婷婷| 99热这里只有精品22| 婷婷伊人中文字幕| 丁香操逼| 91九九| 激情五月天在线视频| 超碰狠狠操| 九色在线五月婷婷网址| 日本久久网| 色爱终和网| 九九综合| 久操人| 精品色色网| 8区视频在线| 日韩乱轮AV| 亚洲婷婷在线播放十月| 丁香五月天激情网| 99热超碰| 大香线蕉伊人| 五月丁香花开综合网| 色婷婷www| 97碰碰在线观看视频| 丁香久色| 狠狠操综合| 大香蕉九九操| 99秘 在线| 婷婷五月激情网| 九九99男女视频在线观看| 九九久久综合网站| 亚洲av骚货| 五月天伊人久久| 色五月综合网| 日日夜夜干| 久久久99久久| 99热在线只有精品| 成人AV片播放| 99热6这里只有精品6| 婷婷综合在线| 久久精品五月| 色婷婷五月亚洲| 日本精品人妻无码77777| 五月天丁香网站| 玖玖婷婷色五月| 九九热内射| 丁香五月天综合网| 色五月婷婷五月天| 思思热久久阴99| 久久精品五月| www.99热视频在线观看| 五月天色色网站| 天天干天天操天天射| xxx.色婷婷| 婷婷中文字幕网站| 色婷五月天网站| 欧亚成人A片一区二区| 五月丁香色色综合| 97在线精品| 第四色激情网| 99狠狠色| 天天色99| 五月天婷婷7米| 亚洲中文AV网站| 久久婷婷六月综合综合色| 9九九久久精品无码专区| 婷婷五月天成人影片| 成人精品一区日本无码网| 啪啪啪啪五月天| 另类在线| 欧美综合婷婷网| A片试看50分钟做受视频| 激情影院免费视频婷婷五月天| 日本色色色| 亚洲精| 99re欧美精品| wWw色五月| 成人AV在线中文版| 亭亭五月激情亚洲在线| AV大片在线观看| 五月婷婷在线综合| 神马欧美精| 久久精品99久久久久久| 色欲婷婷五月天| 91久热| 91热er| 欧美黄色一级录像| 亚洲成人va| 极品人妻VIDEOSSS人妻| 婷婷六月天激情影院| 婷婷丁香五月在线观看91| 成人在线99| 中文字幕AV网址| 五月天丁香网| 五月婷综合性中心| 国产第99页| 久久最新色| 五月丁香六月婷婷啪啪综合| 99久久国产宗和精品1上映| 天天综合天综合| 日本3级片一区2区| 超碰av在线| 日本va网站| 嫩草AV久久伊人妇女超级A| 黄色AAAAA| 六月婷婷久久| 日本猛少妇色XXXXX猛叫| 丁香五月六月欧美| 超碰日日操| 五月丁香婷婷色| 丁香五月婷婷激情蜜桃| 操日本三片99| 大学生高潮无套内谢视频| 人妻久久久久久久久| 大香AV| 开心五月天激情网| 噜噜色噜噜网| 大香蕉精品视频| 99热综合在线观看| 99狠狠操一| 色吧五月婷婷六月丁香| 热久久这里只有三级视频| 六月 丁香 视频| 成人婷婷深爱综合网| 超碰不卡在线| 国外亚洲成AV人片在线观看| 久久精彩视频| 五月天婷婷在线观看精品男人| 五月天婷婷激情在线色图| 91精品综合久久久久久五月丁香| 久热这里只有精品在线| 97色色色| 五月综合激情图片| 色播五月婷婷| 中文在线成人| 五月色情网| 亚洲精品国产成人AV在线| 色99综合色88| 综合色99| 久婷五月| 婷婷五月天综合中文| 色吧婷婷| 久久五月天免费网站| 性综合网| 婷婷五月天美女21p| 亚洲激情丁香五月天色| 墨西哥毛片内射精| 国产成人精品一区二三区熟女在线| 能看的av| 色五月女| 99热大片| 深夜婷婷五月丁香| 大香蕉婷婷久久| 丁香花婷婷五月天| 国产看真人毛片爱做A片| 久9热| 天天干天天日天天操| 亚洲看av的网站| 日韩婷婷| 超碰激情网| 国产精品成人网站| 黄色激情网站在线观看| 性爱综合网| 五月婷婷激情| 99热爱爱干干日| 天天色99| 天天干天天干天天干天天干天天干天天干天天 | 日韩成人电影Av| 韩国中文字幕91| 日本人妻伦在线中文字幕| 色五月婷婷av| 激情九九六月激情免费视频| 日日夜夜爽爽| 草美女在线观看视频在线播放| 玖玖在线视频| 丁香婷婷五月六月久久| jiujiujiuwuyuetian| 亚洲9久久精品| 97午夜一区二区| 亚洲乱码日产精品BD| 少妇性BBB搡BBB爽爽爽电影| 超碰人人艹| 五月丁香激情综合啪啪| 野战毛片三一3| 五月婷婷久久网| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 9色在线视频| 曰曰久久| 亚洲在线资源| 青青草激情网| 五月婷婷婷| 99综合视频一体| 91操人视频| 俺去也五月| 99国产精品久久久久久久久久久| 日本精品久久久久中文字幕| 97色色色色色| 怕怕視頻| 久碰视频| 天天久久人人| 情欲综合网| 丁香五月婷婷激情蜜桃| 日韩黄色电影| 综合久久影院| 久热这里只有精品性色AV| 九九精品在线视频观看| 干亚洲天堂| 国产色色网站网址| 思思精品久久艹| 思思热在线免费视频| 综合激情站| 五月亭亭开心网| 色情综合网| 99热资源在线| 欧美丁香婷婷五月| 亚洲亚洲人成综合网络| 国产精品电| www,色综合| 五月天天综合| 五月婷婷激情四季| 开心五月丁香综合久久| 中文国产五月天| 五月天婷婷AV| 狠狠色婷婷7777久| 乱精品一区字幕二区| 91色五月在线观看| 久久大香蕉同僚| 日本在线视频www色| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 婷婷丁香色五月天| 日韩黄色影院| 亚洲精品久久久久AV无码| 久热大香蕉| 99热这里是精品| 99热这里只有精品在线观看| 午夜大香蕉| 丁香五月婷婷网| 夜夜操夜夜操| 日本天天操| 日韩成人网址| 夜夜穞天天穞狠狠穞AV美女按摩| 亚洲V国产V欧美V久久久久久| 无码AV免费精品一区二区三区| 亚洲日本韩国| 538在线精品| 丁香花社区av| 色噜噜婷婷| 五月天激情图片| 777精品久无码人妻蜜桃| 91碰操| 人人干天天舔| 激情五月天小说| 26uuu国产| 五月花激情网| 另类五月婷婷| 丁香婷五月天开心六月| 婷婷丁香久久| 丁香五月网| 免费色色色| 色久女| 丁香五月综合激情久久潮喷| 欧美一级色| 色五月AV| 99综合网| 久久大香蕉同僚| 成人五月天视频播放| 久久五月婷| 婷婷成人在线| 色一情一乱一乱一区91Av| 九九婷婷五月天| 老美AA片| 另类图片色五月| 激情综合激情综合| 无遮羞AV| www.yw尤物| 丁香五月情| 中文字幕不卡网站| 色狠狠伊人久久五月丁香| 久/久精品99看9| 久久精品日| 思思精品久久艹| 噜噜视频| 99碰网站| 伊人婷婷五月| 丁香婷婷五月| 九九99九九99| 丁香六月情| 天堂美国久久| 天天综合干| 五月丁香婷婷成人网| 人妻AV在线观看| 日日夜夜婷婷| 超碰2021| 午夜婷婷六月天| 国产精品色色| 五月天激情偷拍| 91狠狠色| 丁香六月伊人| 999热这里只有美国精品| 久久五月天合网| www.五月丁香| 天天做天天要天天爱| 丁香五月欧美色综合| 婷婷激情四射网| 久久人妻www| 色欲AVV| 五月婷婷花| 亚洲国产精品VA在线看黑人| 欧美婷婷五月无砖| 日本精品人妻无码77777| 婷婷激情五月天7| 少妇性按摩无码中文A片| 五月婷婷成人网首页| 天天日天天插| 天天婷婷天天| 99精品热| 思思热思在线精品视频|