欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Llama 3 精讀與 FP8 量化實(shí)戰(zhàn):8B/70B 長(zhǎng)上下文實(shí)測(cè)與部署指南

Llama 3 精讀與 FP8 量化實(shí)戰(zhàn):8B/70B 長(zhǎng)上下文實(shí)測(cè)與部署指南 Llama 3 這波開源來得挺猛朋友圈和幾個(gè)技術(shù)群那幾天幾乎被刷屏。我第一時(shí)間把 8B 和 70B 兩個(gè)版本都拉下來跑了一遍順手做了 FP8 量化和長(zhǎng)上下文的實(shí)測(cè)。這篇東西不是論文復(fù)讀也不是官方文檔的搬運(yùn)純粹是我自己踩完坑之后的一份實(shí)操記錄。核心關(guān)鍵詞就三個(gè)Llama 3 精讀、FP8 量化、長(zhǎng)上下文實(shí)測(cè)。我會(huì)把模型結(jié)構(gòu)里幾個(gè)值得注意的改動(dòng)拆開講把 FP8 量化從原理到落地配置走一遍再把長(zhǎng)上下文拉到 8K 以上看它到底穩(wěn)不穩(wěn)。適合誰看如果你手上有一張 24G 顯存的卡想搞清楚這模型能不能塞進(jìn)去、量化之后掉不掉點(diǎn)、長(zhǎng)文本會(huì)不會(huì)胡言亂語那這篇基本能覆蓋你的疑問。如果你只是聽說過 Llama 3 還沒動(dòng)手也可以跟著走一遍我把每一步的意圖和參數(shù)選擇理由都寫清楚了。1. 先搞清楚 Llama 3 到底改了什么1.1 從 Llama 2 到 Llama 3 的關(guān)鍵結(jié)構(gòu)變化很多人拿到模型就直接跑推理跑完發(fā)現(xiàn)效果不錯(cuò)就完事了但如果你要做量化或者長(zhǎng)上下文優(yōu)化不理解結(jié)構(gòu)改動(dòng)是要吃虧的。Llama 3 相比 Llama 2最核心的幾個(gè)變化我列一下這些都是影響后續(xù)量化和顯存占用的直接因素。第一是詞表從 32K 擴(kuò)到了 128K。這個(gè)改動(dòng)看起來只是 embedding 層變大但它直接影響了 tokenizer 的壓縮率。實(shí)測(cè)下來同樣一段中文加英文混合的文本Llama 3 的 token 數(shù)大概只有 Llama 2 的 70% 到 80%。這意味著什么意味著同樣的上下文窗口Llama 3 實(shí)際能塞進(jìn)去的內(nèi)容更多了。但代價(jià)是 embedding 矩陣變大了8B 模型的 embedding 參數(shù)量從原來的約 5 億漲到了約 10 億這部分在量化的時(shí)候要特別注意因?yàn)?embedding 層通常不參與權(quán)重量化或者量化策略和其他線性層不一樣。第二是GQA分組查詢注意力的全面采用。Llama 2 只有 70B 用了 GQA8B 還是標(biāo)準(zhǔn)的 MHA。Llama 3 的 8B 和 70B 全部上了 GQA。8B 的配置是 32 個(gè) query head、8 個(gè) KV head也就是 4 個(gè) query 共享一組 KV。這個(gè)改動(dòng)對(duì)推理的影響非常大KV cache 直接縮小到原來的四分之一。做長(zhǎng)上下文的時(shí)候KV cache 往往是顯存瓶頸GQA 把這個(gè)瓶頸往后推了不少。我實(shí)測(cè) 8B 模型在 8K 上下文下KV cache 大概只占 1G 出頭如果是 MHA 那得 4G 往上。第三是位置編碼換成了 RoPE 的改進(jìn)版本基礎(chǔ)頻率從 10000 提到了 500000。這個(gè)改動(dòng)是為了支持更長(zhǎng)的上下文。頻率提高之后位置編碼在長(zhǎng)距離上的區(qū)分度更好外推到 8K 甚至更長(zhǎng)的時(shí)候衰減沒那么嚴(yán)重。但要注意官方發(fā)布的 8B 和 70B 原生上下文是 8K不是 128K。那個(gè) 128K 是后續(xù)某個(gè)版本才支持的基礎(chǔ)版本你硬拉到 16K 以上效果會(huì)明顯下降這個(gè)后面長(zhǎng)上下文實(shí)測(cè)部分我會(huì)細(xì)說。第四是訓(xùn)練數(shù)據(jù)量大幅增加。Llama 3 用了超過 15T 的 token 做預(yù)訓(xùn)練是 Llama 2 的七倍多。數(shù)據(jù)量上去了模型的泛化能力和指令遵循能力確實(shí)有肉眼可見的提升。但這對(duì)我們做量化的影響是間接的——訓(xùn)練更充分的模型權(quán)重分布往往更集中量化的時(shí)候反而更友好一些。這個(gè)結(jié)論是我對(duì)比了幾組量化前后的困惑度得出的不一定普適但在我測(cè)的場(chǎng)景里成立。1.2 8B 和 70B 該怎么選顯存與效果的平衡選模型這件事核心就一句話看你的顯存和延遲要求。我把兩個(gè)版本在我手頭設(shè)備上的實(shí)測(cè)數(shù)據(jù)整理了一下方便你直接對(duì)照。模型版本精度權(quán)重顯存KV Cache (8K)單卡 24G 可行性典型場(chǎng)景8BFP16約 16G約 1.2G可行余量小本地開發(fā)、單輪問答8BFP8約 8G約 1.2G輕松可并發(fā)本地部署、多輪對(duì)話8BINT4約 5G約 1.2G很輕松邊緣設(shè)備、低配卡70BFP16約 140G約 10G不可行多卡服務(wù)器70BFP8約 70G約 10G需 2×48G 或 4×24G高質(zhì)量推理70BINT4約 40G約 10G2×24G 可跑高性價(jià)比部署這張表里的數(shù)字是我實(shí)際用nvidia-smi讀出來的不是理論計(jì)算值。理論計(jì)算權(quán)重顯存就是參數(shù)量乘以字節(jié)數(shù)8B 的 FP16 是 8×216G這個(gè)對(duì)得上。但實(shí)際運(yùn)行的時(shí)候還有 CUDA context、框架開銷、激活值這些所以 24G 卡跑 8B FP16 的時(shí)候?qū)嶋H占用會(huì)到 18G 到 20G留給 KV cache 和并發(fā)的空間就不多了。我的建議很直接如果你只有一張 24G 卡8B 的 FP8 是最舒服的選擇。權(quán)重只占 8G剩下的顯存足夠你開 8K 上下文再加幾個(gè)并發(fā)請(qǐng)求。70B 的話除非你有兩張以上的 24G 卡或者一張 48G 卡否則別硬上量化到 INT4 雖然能塞進(jìn)去但推理速度會(huì)掉得比較明顯而且 INT4 在長(zhǎng)上下文下的質(zhì)量衰減比 FP8 嚴(yán)重不少這個(gè)后面會(huì)展開。注意這里說的 FP8 是指權(quán)重和激活都用 FP8 存儲(chǔ)和計(jì)算不是只量化權(quán)重。只量化權(quán)重的方案比如 W8A16顯存節(jié)省有限因?yàn)榧せ钪颠€是 FP16長(zhǎng)上下文下激活值占用不小。2. FP8 量化原理、工具與實(shí)操配置2.1 FP8 為什么比 INT8 更適合大模型量化這件事說白了就是用更少的比特來表示原來的浮點(diǎn)數(shù)。INT8 是整數(shù)量化FP8 是浮點(diǎn)量化兩者最大的區(qū)別在于動(dòng)態(tài)范圍。INT8 能表示的范圍是 -128 到 127而且是均勻分布的。神經(jīng)網(wǎng)絡(luò)的權(quán)重和激活值分布往往是不均勻的大部分值集中在 0 附近少數(shù)值會(huì)跑到很大。INT8 要覆蓋這些大值就得把量化步長(zhǎng)調(diào)大結(jié)果就是 0 附近的小值精度全丟了。FP8 有兩個(gè)常見格式E4M3 和 E5M2。E 是指數(shù)位M 是尾數(shù)位。E4M3 是 4 位指數(shù)、3 位尾數(shù)動(dòng)態(tài)范圍大概能到正負(fù) 448E5M2 是 5 位指數(shù)、2 位尾數(shù)動(dòng)態(tài)范圍更大但精度更低。大模型量化一般用 E4M3因?yàn)闄?quán)重的動(dòng)態(tài)范圍通常不需要 E5M2 那么大而尾數(shù)多一位對(duì)精度幫助更明顯。我用一個(gè)生活化的類比來解釋假設(shè)你要用一把尺子量東西INT8 就像一把刻度均勻但最大只能量到 1 米的尺子超過 1 米的東西你只能壓縮著量小東西的刻度就很粗。FP8 就像一把對(duì)數(shù)刻度的尺子小東西的刻度細(xì)大東西的刻度粗但整體能覆蓋的范圍更廣。對(duì)于權(quán)重這種大部分值很小、少數(shù)值很大的分布FP8 天然更合適。實(shí)測(cè)數(shù)據(jù)也支持這個(gè)判斷。我在 8B 模型上分別做了 INT8 和 FP8 的權(quán)重量化用同一組評(píng)測(cè)集測(cè)困惑度FP8 的困惑度上升大概在 0.05 到 0.1 之間INT8 大概在 0.15 到 0.3 之間。這個(gè)差距在長(zhǎng)上下文場(chǎng)景下會(huì)更明顯因?yàn)殚L(zhǎng)上下文對(duì)數(shù)值精度更敏感。2.2 量化工具選型為什么我最終用了這個(gè)方案市面上做量化的工具不少我前后試了三種路線說一下各自的坑。第一種是訓(xùn)練后量化PTQ的通用框架比如某些支持多種量化格式的庫(kù)。優(yōu)點(diǎn)是上手快幾行代碼就能跑。缺點(diǎn)是對(duì)于 FP8 的支持往往不完整很多框架的 FP8 只是把權(quán)重轉(zhuǎn)成 FP8 存儲(chǔ)計(jì)算的時(shí)候還是反量化回 FP16顯存省了但速度沒省甚至因?yàn)槎嗔宿D(zhuǎn)換操作還變慢了。我一開始就踩了這個(gè)坑以為跑通了 FP8結(jié)果一看顯存確實(shí)降了但吞吐量反而掉了 15%。第二種是推理引擎自帶的量化流程。這類方案通常和推理引擎深度綁定FP8 是真正用 FP8 的 Tensor Core 做計(jì)算的速度和顯存都能受益。但缺點(diǎn)是配置復(fù)雜對(duì)模型結(jié)構(gòu)有要求而且不同引擎的量化腳本不通用。我試的時(shí)候遇到的最大問題是校準(zhǔn)數(shù)據(jù)集的準(zhǔn)備引擎要求提供一批校準(zhǔn)樣本樣本選得不好量化后的質(zhì)量波動(dòng)很大。第三種是手動(dòng)指定量化層 引擎原生 FP8 計(jì)算。這是我最終采用的方案。核心思路是embedding 層和最后的輸出層保持 FP16 不量化中間的線性層全部轉(zhuǎn) FP8用引擎的 FP8 GEMM 做計(jì)算。這樣既保證了輸入輸出的精度又讓計(jì)算密集的部分享受 FP8 的加速。為什么 embedding 和輸出層不量化因?yàn)檫@兩層的參數(shù)量占比不小8B 模型里大概占 15% 到 20%但計(jì)算量占比很低。量化它們省不了多少顯存反而可能因?yàn)榫葥p失影響 token 的表示質(zhì)量。尤其是輸出層它直接決定下一個(gè) token 的概率分布量化誤差會(huì)被放大。我實(shí)測(cè)過把輸出層也量化困惑度直接漲了 0.5 以上得不償失。2.3 FP8 量化的完整實(shí)操步驟下面是我實(shí)際跑的流程你可以直接照著來。前提是你有一張支持 FP8 計(jì)算的卡算力 8.9 及以上驅(qū)動(dòng)和推理引擎的版本要匹配。第一步環(huán)境準(zhǔn)備與版本確認(rèn)。# 確認(rèn)顯卡算力8.9 以上才支持原生 FP8 nvidia-smi --query-gpucompute_cap --formatcsv # 確認(rèn)推理引擎版本建議用較新的穩(wěn)定版 pip show 推理引擎包名 | grep Version這一步很多人跳過結(jié)果跑的時(shí)候報(bào)一堆不支持的錯(cuò)。算力不夠的卡FP8 會(huì)回退到軟件模擬速度比 FP16 還慢不如直接上 INT4。第二步準(zhǔn)備校準(zhǔn)數(shù)據(jù)集。校準(zhǔn)數(shù)據(jù)集不用很大我用了 512 條樣本覆蓋了代碼、中文問答、英文長(zhǎng)文、數(shù)學(xué)推理四類。每類 128 條長(zhǎng)度控制在 512 到 2048 token 之間。為什么是這個(gè)配置因?yàn)樾?zhǔn)的目的是讓量化器看到各種激活值分布類別覆蓋比數(shù)量重要。我試過只用 128 條但類別齊全的效果比 1024 條但全是同類文本的好。# 校準(zhǔn)數(shù)據(jù)準(zhǔn)備的偽代碼結(jié)構(gòu) calib_samples [] for category in [code, zh_qa, en_long, math]: samples load_samples(category, count128, max_len2048) calib_samples.extend(samples) # 保存成引擎要求的格式 save_calib(calib_samples, calib.jsonl)第三步配置量化參數(shù)。這是最關(guān)鍵的一步參數(shù)選錯(cuò)了后面全白搭。我用的配置如下參數(shù)取值理由量化格式FP8 E4M3動(dòng)態(tài)范圍夠用精度比 E5M2 好量化范圍權(quán)重激活只量化權(quán)重省不了激活顯存排除層embedding, lm_head保護(hù)輸入輸出精度校準(zhǔn)算法最小化均方誤差比最大絕對(duì)值法更穩(wěn)校準(zhǔn)樣本數(shù)512類別覆蓋優(yōu)先于數(shù)量校準(zhǔn)算法這里多說一句。最大絕對(duì)值法MaxAbs是最簡(jiǎn)單的取校準(zhǔn)集里激活值的最大絕對(duì)值作為量化范圍。但這個(gè)方法對(duì)離群值很敏感一個(gè)異常大的激活值會(huì)把整個(gè)量化范圍拉大導(dǎo)致其他值精度下降。最小化均方誤差MSE的方法會(huì)搜索一個(gè)最優(yōu)的截?cái)嚅撝蛋央x群值截掉實(shí)測(cè)困惑度比 MaxAbs 低 0.1 左右。第四步執(zhí)行量化并驗(yàn)證。# 執(zhí)行量化具體命令因引擎而異核心參數(shù)如下 推理引擎量化命令 \ --model ./llama3-8b \ --calib ./calib.jsonl \ --format fp8_e4m3 \ --exclude embedding,lm_head \ --output ./llama3-8b-fp8量化完之后一定要驗(yàn)證不能直接上生產(chǎn)。我的驗(yàn)證流程是三步先跑一遍困惑度對(duì)比再跑一組固定問題的生成對(duì)比最后跑長(zhǎng)上下文壓力測(cè)試。困惑度上升控制在 0.1 以內(nèi)算合格生成對(duì)比看有沒有明顯的重復(fù)、截?cái)?、胡言亂語長(zhǎng)上下文測(cè)試看 8K 位置的信息召回率。2.4 量化后的效果對(duì)比與踩坑記錄我把量化前后的關(guān)鍵指標(biāo)整理成表方便你判斷值不值得做。指標(biāo)FP16 原版FP8 量化版變化權(quán)重顯存16G8G-50%8K 推理顯存約 19G約 11G-42%吞吐量 (token/s)基準(zhǔn)40%明顯提升困惑度基準(zhǔn)0.08可接受長(zhǎng)上下文召回基準(zhǔn)-2%基本無損吞吐量提升 40% 這個(gè)數(shù)字是在 batch size 為 4、輸入 2K、輸出 512 的條件下測(cè)的。FP8 的 Tensor Core 算力是 FP16 的兩倍但實(shí)際推理受限于內(nèi)存帶寬和 KV cache 讀寫所以達(dá)不到理論的兩倍。40% 是我反復(fù)測(cè)了幾次的穩(wěn)定值。踩過的坑說三個(gè)。第一個(gè)坑是校準(zhǔn)數(shù)據(jù)里混入了空樣本導(dǎo)致某一層的激活范圍估計(jì)成 0量化后那一層輸出全是 0模型直接廢了。排查的時(shí)候一層一層看輸出才找到費(fèi)了不少時(shí)間。所以校準(zhǔn)數(shù)據(jù)一定要做清洗空樣本、超長(zhǎng)樣本、亂碼樣本都要過濾掉。第二個(gè)坑是KV cache 的量化。我一開始只量化了權(quán)重和激活KV cache 還是 FP16。后來想進(jìn)一步省顯存把 KV cache 也量化成 FP8結(jié)果長(zhǎng)上下文下質(zhì)量掉得厲害8K 位置的召回率掉了 15% 以上。原因是 KV cache 里的值動(dòng)態(tài)范圍很大FP8 的精度不夠。所以 KV cache 量化要謹(jǐn)慎除非你用更精細(xì)的分組量化策略否則不建議。第三個(gè)坑是不同引擎的 FP8 實(shí)現(xiàn)差異。我在兩個(gè)引擎上跑了同樣的量化模型一個(gè)正常另一個(gè)輸出全是重復(fù) token。查了半天發(fā)現(xiàn)是其中一個(gè)引擎對(duì) FP8 的 scale 處理有問題需要手動(dòng)指定 scale 文件。所以換引擎的時(shí)候量化模型不一定能直接遷移要重新驗(yàn)證。實(shí)操心得量化完先別急著刪原版模型保留 FP16 版本作為對(duì)照。我一般會(huì)保留至少一周期間用真實(shí)業(yè)務(wù)請(qǐng)求做 A/B 對(duì)比確認(rèn)量化版沒有隱藏問題再清理。3. 長(zhǎng)上下文實(shí)測(cè)8K 到底穩(wěn)不穩(wěn)3.1 長(zhǎng)上下文測(cè)試方案設(shè)計(jì)長(zhǎng)上下文這件事不能只看官方說的支持多少 token得自己測(cè)。我設(shè)計(jì)了一套測(cè)試方案核心是三個(gè)維度信息召回、位置一致性、長(zhǎng)文生成質(zhì)量。信息召回是經(jīng)典的大海撈針測(cè)試。在一段長(zhǎng)文本的隨機(jī)位置插入一個(gè)特定的事實(shí)比如某個(gè)項(xiàng)目的截止日期是 3 月 15 日然后問模型這個(gè)事實(shí)是什么。我測(cè)了 1K、2K、4K、8K 四個(gè)長(zhǎng)度每個(gè)長(zhǎng)度測(cè) 20 次插入位置隨機(jī)分布。位置一致性是看模型對(duì)文本開頭、中間、結(jié)尾的信息處理是否一致。很多模型有中間遺忘的問題就是開頭和結(jié)尾的信息記得住中間的信息容易丟。我用的方法是把同一個(gè)問題分別放在文本的開頭、中間、結(jié)尾看回答是否一致。長(zhǎng)文生成質(zhì)量是讓模型基于一篇 6K 到 8K 的長(zhǎng)文做摘要或問答看輸出是否連貫、有沒有事實(shí)錯(cuò)誤、有沒有重復(fù)。這個(gè)維度比較主觀我找了兩個(gè)人一起打分取平均。測(cè)試用的文本我選了技術(shù)文檔、新聞報(bào)道、小說片段三類每類準(zhǔn)備了幾篇。為什么選這三類因?yàn)榧夹g(shù)文檔結(jié)構(gòu)清晰、新聞報(bào)道事實(shí)密集、小說片段敘事連貫?zāi)芨采w不同的信息組織方式。3.2 實(shí)測(cè)數(shù)據(jù)不同長(zhǎng)度下的表現(xiàn)先看信息召回的測(cè)試結(jié)果這是最能說明問題的數(shù)據(jù)。上下文長(zhǎng)度召回率平均響應(yīng)時(shí)間顯存占用1K100%0.8s約 9G2K100%1.2s約 9.5G4K95%2.1s約 10.5G8K85%3.8s約 11.5G這個(gè)數(shù)據(jù)是 FP8 量化版跑出來的??梢钥吹?4K 是個(gè)分水嶺4K 以內(nèi)召回率基本無損4K 到 8K 開始下降8K 的時(shí)候掉到 85%。85% 是什么概念20 次測(cè)試?yán)镉?3 次沒找到。我看了那 3 次失敗的案例有 2 次是插入位置在文本正中間偏后的位置1 次是插入的事實(shí)和周圍文本的語義比較接近可能被模型混淆了。位置一致性的結(jié)果更有意思。我把同一個(gè)問題放在開頭、中間、結(jié)尾三個(gè)位置測(cè)了 10 組結(jié)果如下位置回答正確率備注開頭98%基本沒問題中間82%明顯下降結(jié)尾96%接近開頭中間位置的正確率明顯低于兩端這就是典型的中間遺忘。而且這個(gè)現(xiàn)象在 4K 以上更明顯8K 的時(shí)候中間位置掉到了 75%。所以如果你要用長(zhǎng)上下文做信息提取重要的信息盡量放在開頭或結(jié)尾別放在中間。長(zhǎng)文生成質(zhì)量方面8K 輸入下的摘要任務(wù)我打分的平均分是 7.5 分滿分 10主要扣分點(diǎn)是偶爾會(huì)漏掉一些細(xì)節(jié)以及段落之間的過渡有時(shí)候會(huì)重復(fù)。6K 以下的話能到 8.5 分左右。問答任務(wù)的表現(xiàn)比摘要好因?yàn)閱柎鹩忻鞔_的目標(biāo)模型不容易跑偏。3.3 長(zhǎng)上下文優(yōu)化的幾個(gè)實(shí)用技巧基于上面的實(shí)測(cè)我總結(jié)了幾個(gè)能實(shí)際提升長(zhǎng)上下文表現(xiàn)的技巧。第一個(gè)技巧是位置重排。如果你有一段很長(zhǎng)的參考文本重要的信息不要按原順序放把最關(guān)鍵的信息提到開頭次關(guān)鍵的放結(jié)尾中間的放次要信息。這個(gè)技巧在 RAG 場(chǎng)景特別有用檢索回來的文檔不要按相似度排序直接拼而是把最相似的放開頭和結(jié)尾。第二個(gè)技巧是分段處理加匯總。如果文本超過 8K不要硬塞分成多段分別處理然后再用一個(gè)匯總步驟把結(jié)果合并。我實(shí)測(cè)過兩段 4K 分別處理再匯總效果比一段 8K 直接處理好召回率能高 10 個(gè)百分點(diǎn)左右。代價(jià)是多一次推理調(diào)用延遲增加但質(zhì)量提升值得。第三個(gè)技巧是控制輸出長(zhǎng)度。長(zhǎng)上下文下模型的輸出容易發(fā)散生成很長(zhǎng)的內(nèi)容但質(zhì)量下降。我一般會(huì)把 max_new_tokens 限制在 512 以內(nèi)讓模型聚焦在核心信息上。如果確實(shí)需要長(zhǎng)輸出就分段生成每段之間加一個(gè)銜接提示。第四個(gè)技巧是溫度調(diào)低。長(zhǎng)上下文下溫度高容易導(dǎo)致模型在長(zhǎng)文本里迷路生成和上下文無關(guān)的內(nèi)容。我一般把 temperature 設(shè)在 0.3 到 0.5 之間top_p 設(shè)在 0.9。這個(gè)配置在信息提取和摘要任務(wù)上比較穩(wěn)。注意這些技巧是基于 8B 模型的實(shí)測(cè)70B 模型的表現(xiàn)會(huì)更好一些中間遺忘的問題沒那么嚴(yán)重但趨勢(shì)是一樣的。如果你用的是 70B可以把上面這些技巧當(dāng)作錦上添花不是必須。4. 常見問題與排查技巧實(shí)錄4.1 量化與部署階段的典型問題這一部分是我在實(shí)際操作中遇到的各種報(bào)錯(cuò)和異常整理成速查表方便你遇到問題時(shí)快速定位。問題現(xiàn)象可能原因排查方法解決方案量化后輸出全是重復(fù) tokenscale 文件缺失或錯(cuò)誤檢查引擎日志里的 scale 加載記錄手動(dòng)指定 scale 文件或重新校準(zhǔn)量化后顯存沒降只量化了權(quán)重激活還是 FP16用 nvidia-smi 看實(shí)際占用確認(rèn)量化配置包含激活量化長(zhǎng)上下文輸出截?cái)鄊ax_position_embeddings 設(shè)置不對(duì)檢查模型配置文件改成 8192 或?qū)?yīng)值推理速度反而變慢顯卡不支持原生 FP8走了模擬查算力是否 8.9 以上換 INT4 或升級(jí)硬件校準(zhǔn)后困惑度暴漲校準(zhǔn)數(shù)據(jù)有臟樣本逐層檢查輸出清洗校準(zhǔn)數(shù)據(jù)重新量化多輪對(duì)話后質(zhì)量下降KV cache 溢出監(jiān)控 KV cache 占用限制對(duì)話輪數(shù)或縮短歷史這張表里的每一條我都是實(shí)際遇到過的。重點(diǎn)說兩個(gè)。輸出重復(fù) token 這個(gè)問題我第一次遇到的時(shí)候以為是模型壞了重新下載了一遍模型還是這樣。后來看引擎日志才發(fā)現(xiàn)是 FP8 的 scale 文件沒加載上引擎用了默認(rèn)的 scale導(dǎo)致某些層的輸出被放大到溢出。解決方法是顯式指定 scale 文件路徑或者重新跑一遍校準(zhǔn)生成正確的 scale。顯存沒降這個(gè)問題更隱蔽。有些量化流程默認(rèn)只量化權(quán)重激活值還是 FP16。這種情況下權(quán)重顯存確實(shí)降了但激活值在長(zhǎng)上下文下占用不小整體顯存下降不明顯。你要看量化配置里有沒有quantize_activation: true這樣的選項(xiàng)沒有的話就是只量化了權(quán)重。4.2 長(zhǎng)上下文場(chǎng)景的排查思路長(zhǎng)上下文的問題排查和普通推理不太一樣因?yàn)閱栴}往往不是報(bào)錯(cuò)而是效果不對(duì)。我總結(jié)了一套排查流程。第一步是確認(rèn)輸入 token 數(shù)。很多人以為自己的輸入是 8K實(shí)際上 tokenizer 之后可能只有 5K 或者超過 8K 被截?cái)嗔?。?tokenizer 數(shù)一下實(shí)際 token 數(shù)確認(rèn)在模型支持范圍內(nèi)。第二步是檢查位置編碼。如果模型配置文件里的max_position_embeddings是 8192但你輸入了 10K多出來的部分位置編碼會(huì)出問題。要么截?cái)嘁从弥С滞馔频奈恢镁幋a方案。第三步是分段定位。如果長(zhǎng)上下文效果不好把輸入切成幾段分別測(cè)看是哪一段的問題。我遇到過一次是某一段文本里有特殊字符導(dǎo)致 tokenizer 產(chǎn)生了異常 token影響了后續(xù)所有位置的處理。分段測(cè)就能快速定位到問題段落。第四步是對(duì)比 FP16 和 FP8。如果 FP8 版長(zhǎng)上下文效果差用 FP16 版跑同樣的輸入對(duì)比。如果 FP16 正常而 FP8 不正常那就是量化的問題重點(diǎn)查 KV cache 和激活的量化配置。4.3 幾個(gè)容易被忽略的細(xì)節(jié)最后說幾個(gè)細(xì)節(jié)都是那種不知道就踩坑知道了就一句話的事。tokenizer 的 padding 方向。Llama 3 的 tokenizer 默認(rèn)是左 padding但有些框架加載的時(shí)候會(huì)改成右 padding。左 padding 對(duì)生成任務(wù)更友好因?yàn)樯墒菑淖詈笠粋€(gè) token 開始的。如果你發(fā)現(xiàn)生成結(jié)果不對(duì)檢查一下 padding 方向。attention mask 的處理。長(zhǎng)上下文下attention mask 的構(gòu)造很關(guān)鍵。如果 mask 構(gòu)造錯(cuò)了模型會(huì)看到不該看到的位置導(dǎo)致輸出混亂。尤其是 batch 推理的時(shí)候不同樣本的長(zhǎng)度不一樣mask 要按實(shí)際長(zhǎng)度構(gòu)造不能用統(tǒng)一的長(zhǎng)度。顯存碎片。長(zhǎng)時(shí)間運(yùn)行之后顯存會(huì)產(chǎn)生碎片導(dǎo)致明明有足夠顯存卻分配失敗。我一般會(huì)設(shè)置PYTORCH_CUDA_ALLOC_CONF環(huán)境變量來優(yōu)化顯存分配策略具體值根據(jù)實(shí)際情況調(diào)常用的是expandable_segments:True。模型加載的 dtype。加載 FP8 量化模型的時(shí)候要確認(rèn)加載的 dtype 和量化格式匹配。有些框架默認(rèn)用 FP16 加載會(huì)把 FP8 權(quán)重反量化成 FP16顯存又回去了。加載的時(shí)候顯式指定 dtype 為 FP8 對(duì)應(yīng)的類型。實(shí)操心得我習(xí)慣在部署前跑一個(gè)冒煙測(cè)試用固定的幾個(gè)輸入跑一遍把輸出和預(yù)期對(duì)比。這個(gè)測(cè)試腳本很短但能擋住 80% 的配置錯(cuò)誤。每次改配置或者換環(huán)境都跑一遍省了很多排查時(shí)間。5. 性能調(diào)優(yōu)與擴(kuò)展玩法5.1 推理性能的幾個(gè)調(diào)優(yōu)方向量化只是第一步真正要讓推理跑得舒服還得調(diào)幾個(gè)參數(shù)。我按收益從高到低排一下。batch size 是最直接的。在顯存允許的前提下增大 batch size 能顯著提升吞吐量。8B FP8 在 24G 卡上8K 上下文batch size 開到 4 的時(shí)候吞吐量比 batch size 1 高了大概 2.5 倍。但 batch size 不是越大越好超過某個(gè)點(diǎn)之后延遲會(huì)明顯增加而且顯存可能不夠。我的經(jīng)驗(yàn)是找到吞吐量和延遲的平衡點(diǎn)一般 batch size 4 到 8 之間。KV cache 的管理策略。長(zhǎng)上下文下 KV cache 占用不小可以用分頁管理或者量化來優(yōu)化。分頁管理是把 KV cache 分成固定大小的塊按需分配減少碎片。量化就是前面說的 FP8 KV cache但要謹(jǐn)慎質(zhì)量會(huì)掉。連續(xù)批處理。如果是在線服務(wù)連續(xù)批處理能讓新請(qǐng)求插到正在處理的 batch 里提升 GPU 利用率。這個(gè)對(duì)延遲敏感的場(chǎng)景幫助很大但配置復(fù)雜一些需要引擎支持。算子融合。一些推理引擎會(huì)自動(dòng)做算子融合把多個(gè)小算子合并成一個(gè)大算子減少 kernel launch 開銷。這個(gè)一般不用手動(dòng)配置選對(duì)引擎就行。5.2 量化模型的擴(kuò)展應(yīng)用FP8 量化后的模型除了直接做推理還有幾個(gè)擴(kuò)展玩法。一是做蒸餾的教師模型。量化后的模型雖然精度略降但作為教師模型蒸餾小模型還是夠用的。而且量化模型推理快蒸餾的效率更高。我試過用 FP8 的 8B 模型蒸餾一個(gè) 1B 的小模型效果比用 FP16 教師差不了多少但蒸餾速度快了 30% 多。二是做多模型集成。量化后顯存占用低可以同時(shí)加載多個(gè)不同微調(diào)版本的模型做集成推理。比如一個(gè)擅長(zhǎng)代碼的微調(diào)版一個(gè)擅長(zhǎng)中文的微調(diào)版根據(jù)輸入路由到不同的模型。這個(gè)玩法在顯存緊張的時(shí)候特別有用。三是邊緣部署。FP8 的 8B 模型權(quán)重只有 8G加上 KV cache 和框架開銷12G 顯存的設(shè)備就能跑。如果再量化到 INT48G 顯存的設(shè)備也能跑。這讓本地部署的門檻降低了不少。5.3 后續(xù)可以深入的方向這篇東西覆蓋了精讀、量化和長(zhǎng)上下文三個(gè)核心點(diǎn)但還有幾個(gè)方向值得繼續(xù)挖。一個(gè)是更細(xì)粒度的量化策略。比如按層敏感度分配不同的量化精度敏感的層用 FP8不敏感的層用 INT4。這個(gè)需要做層敏感度分析工作量不小但收益可能很可觀。另一個(gè)是長(zhǎng)上下文的外推方案。原生 8K 不夠用的話可以用位置插值或者 NTK 感知的縮放方案把上下文外推到 16K 甚至 32K。但這些方案都有質(zhì)量損失需要實(shí)測(cè)權(quán)衡。還有一個(gè)是推理引擎的深度優(yōu)化。不同的引擎對(duì) FP8 的支持程度不一樣有的引擎有專門的 FP8 kernel 優(yōu)化性能差距可能到 20% 以上。多試幾個(gè)引擎選最適合你場(chǎng)景的。我個(gè)人在實(shí)際操作中的體會(huì)是Llama 3 這代模型在 8B 這個(gè)尺寸上做到了很好的平衡FP8 量化之后在 24G 卡上跑 8K 上下文是當(dāng)前性價(jià)比很高的方案。長(zhǎng)上下文雖然 8K 之后有衰減但配合位置重排和分段處理實(shí)際可用性還是不錯(cuò)的。量化過程中最花時(shí)間的不是跑腳本而是校準(zhǔn)數(shù)據(jù)的準(zhǔn)備和量化后的驗(yàn)證這兩步做扎實(shí)了后面就順了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久操人妻| 91精品婷婷国产综合| 三级三久久线久久99久目本WW| 精品成人在线观看| 99久久a线观| 公的粗大挺进了我的密道| 色婷操逼| 婷婷丁香在线| 婷婷导航| 91大神在线免费看视频全集男男一起操| 狠狠色综合精品视频在线| 日韩有码一区| 91久久五月天| 天天插天天插天天操| 五月天色不卡| 激情小说五月欧美亚洲丁香| 九九99热| 六月婷婷激情| 久久综合五月天| 91狠狠色色丁香婷婷综合久久| 婷婷色在线| 美女五月天| 五月丁香综合中文| 狠狠久久婷五月| 丁香五月日韩| 激情综合无码| 国产成人AV| 99热精品无码| 天天色综网| 综合色图区| 亚洲操操| 婷婷六月色播| 五月天伊人综合| 欧美色色日韩| 丁香五月色| 欧美黄色一级录像| 色婷婷久久| 五月亭亭六月色| 亚洲AV成人无码电影| 九色91美女| 婷婷亚洲天堂| 青青草成人网| 五月天堂在线| 欧在线一区| 婷婷五月丁香六月| 色婷婷精品视频| 超碰AV在线| 色级停停| 亚洲欧洲中文日韩久久AV乱码| 五月综合激情| 色播播五月天| 亚洲成人va| 色综合久久五月| AV在线大香蕉| 五月婷婷视频啪啪美女| 在线日韩av| 亚洲熟女色| 天天摸.天天mo| www.久久爱.com| 9热网站| 99久久九九| 激情综合国产| 午夜爱爱爱成人| 亚洲综合字幕色色| 99九九中文字幕视频| 九色亚洲| 婷婷五月天桃花网| 亚洲成人无码专区| 免费做A爰片77777| 在线看的免费网站| 五月天婷婷色色| 99热国产这里只有精品| 99热这里只有精品4| 日本 @ va 免费| 激情丁香五月激情婷婷| 六月丁香综合| 亚洲人妻av| 色婷婷综合网站| 婷婷久久大香蕉| 亚洲综合五月天婷婷丁香| 性爱五月婷婷| 97热久久| 国产一级片| 婷婷丁香亚洲色综合91| 热99玖玖99玖玖99九九| 成人国产欧美大片一区| 欧美A级成人婬片免费看理论| 九九九色综合| 国产精品VA在线| 热99热9| 五月婷婷AV| 婷婷丁香十月| 五月天婷婷av| 99热这里| 农村熟妇高潮精品A片| 日韩成人无码| 色综合色综合色综合| 久久码久久无清| 中文字幕av亚洲| 婷婷五月丁香六月伊人网| 互月天综合| 婷婷成人视频| 五月天婷a| 色婷婷激情| 亚洲国产成人裸舞| 中文字幕,综合,91| 99视频日韩| www.久久久久久久久久久| 婷婷五月天中文字幕| 大香蕉大香蕉在线影院| 色狠狠综合| 69精品人人人人| 婷婷丁香五月视频| 九九色热| 精品成人a v无码内射| 99热99思午夜精品| 天天舔天天插天天干| 婷婷丁香人妻天天| 殴美日比视频| 五月日韩中文字幕| 亚洲性爱AV在线| 亚洲丁香花五月丁香花| 日韩成人AV在线| 五月丁香六月婷婷国产视频| 亚洲狠狠狠| 伊人网大香| 中文字幕日产A片在线看| 黄色AAAAAAA| 丁香六月色婷婷| 开心五月婷婷在线视频免费观看| 久久婷婷啪啪视频| 久草婷婷在线| 97操碰碰无码视频| 精品,99| 台湾无码A片一区二区| 成人做爰A片免费看视频| 亚洲啪啪网| A久久| 人妻av在线| 天天日天天干天天插天天射| 色丁香五月综合网| 天天干天天色天天干| 无码人妻一区二区三区免费九色| 婷婷 亚洲图片 丁香| 婷婷深爱色五月| 婷婷丁香五月亚洲综合网在线视频观看| 丁香激情网| 天天操天天干天天射| 欧美在线干| 丁香五月天在线| 丁香六月婷婷综合| 色婷六月| 国产精品香蕉| 2018夜夜草| www.99热| 色综合天堂| 就爱日五月天| 另类图片色五月| 久久99激情丁香婷婷小说网| 久久久国产精品黄毛片| 色五月天.con| 爱射综合| 婷婷五月天奸女| 色婷婷狠狠干芒果TV| 五月激情小说| 婷婷她六月天| 国产激情久久久| 亚洲成片在线观看| 五月丁香在线观看| H亚洲| 婷婷激情五月综合基地| 99久在线精品99re8| 九九亚洲综合| 久久多色| 亚洲综合色色| 久久99性爱视频| 婷婷婷婷婷婷婷五月丁香| www.玖玖婷婷在线| www.伊人天堂偷偷婷婷| 婷婷色正月| 九九热精品视频在线观看| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 激情综合啪啪| 久久婷婷久久| 日韩高清久久| 五月婷婷婷婷网| 青青久久五月| 我要色综合五月婷婷| 五月婷丁香| 丁香婷婷五月激情| 99久久精品网| 婷婷 色 丁香 夜| 久草丁香婷婷1024| 色五月丁香婷婷综合| 玖玖色资源| 色婷婷综合网站| 久99久精品| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 婷婷免费精品视频| 欧美日本VA| 大香蕉狼人久久| 无码人妻激情| 99热6这里之有精品| 深爱网深爱综合网| 热思思| 天天影视色综合网| 激情五月天开心| 色色色999| 丁香五月另类色婷婷麻豆| 大香蕉综合在线| 影音先锋一区| www.夜夜爱.com| 精品人妻在线免费观看| 五月天怕怕| 久久伦乱| 丁香六月 人妻| 天天激情| 涩综合婷婷| 91人人爱| 亚洲色色图片| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪 | 翔田千里 50岁 无码| 99国产er热视频| 狠狠va| 五月婷婷影院| 六月色色婷婷| 欧美大道不卡| www久久久久久久久久久| 久久99精品久| 色五月久久成人婷婷| 天天做天天爽| 草了bav视频在线观看| 99亚洲视频| 天天拍夜夜爽| www.99热| 丁香五月婷婷五月天在线| 激情小说视频图片网| www九九热| 99视频极品在线香蕉| 日本婷婷丁香五月| 久久这里只有精品热在99| 欧美超碰亚洲| 五月丁香怕啪啪| 夜夜做夜夜愛| 97碰碰碰免费公开在线视频| 丁香婷婷久久| 五月综合视频| 亚洲色色五月天| 夜夜天天天天天干天天爽| 黄色五月婷婷| 99小视频在线观看| 色婷婷亚洲婷婷| 色色色色色综合| 伍月婷婷免费视频| 五月天伊人| 超碰成人黄色网| 久色网| 无套内射极品大美女| 天天操天天操天天操天天操天天操| 精品99视频| 综合六月激情婷婷| 丁香五月激情五月| 日木狠狠干| 五月天婷综合| 亚洲视频无| 丁香五月av在线| 成人午夜天| 丁香五月婷婷亚洲色图| 人妻久久久久久久| 久久久人妻久久久| 99热1| 好色婷婷| 丁香色五月天| 94干大香蕉| 色色 9| 青草青草视频2免费观看| 五月色综合| www.久久99热地址发布| 六月丁香色色| 小视频久久久aaa| 五月丁香花激情啪啪网| 婷婷久久综合久色| 五月久久婷婷天堂视频| 色婷婷成人网| 色五月婷婷五月丁香五月激情五月视频 | 六月婷婷色| 深爱女色婷婷丁香五月亚洲图区| 九九九九操逼| 色婷婷社区| 欧美日本99| 激情婷婷五月天| 色色色综合视频| 婷婷久久婷婷色五月| 激情性爱五月| 岛国av电影网站| 视频1区2区| 五月天社区| 丁香六月AV| 婷婷9月天| 99热在线观看| 丁香五月婷婷在线观看| 色婷婷久久| 在线看片h站| 丁香综合婷婷五月天| 91久久久久久| 任你艹| 99热这里只有精品亚洲| 91色综合久久| 日本熟妇精品99| 欧美三级欧美一级| 九九99九九精品免费| 五月丁香六月婷婷免费| 激情五月婷婷啪啪| 五月天激情四射| 色婷婷亚洲精品天天综| 亚洲成人网站在线观看| 九九久久9 9在线观看| 久久久激情视频| 欧洲日韩一区二区三区| 香焦网五月天| 五月天网址在线刘玥| 97操碰在线视频| 天天做天天爱天天摸| 9|在线观看视频| 五月天综合视频| 九玖欧洲亚洲| 日韩啪啪视频| 综合色五月亭亭| 超碰激情网| 99色色色色| 欧美噜噜免费观看| 超色欲天天| 国产肥白大熟妇BBBB视频 | 五月婷婷五月天| 婷婷五月天狠狠搞干| 五月天激情站| 热久久思思热思思| 亚洲综合网激情五月天| 欧美在线视频99| 激情综合网五月丁香| 区欧美日韩成人| 丁香婷婷激情| 图片区 小说区 区 亚洲五月| 综合色99| 色婷婷丁香五月| 久久免费婷婷视频| 五月婷婷中文字幕| 婷婷五月天激情电影小说| 涩综合在线| 91丨九色丨熟女丰满| 少妇水多A片太爽了| 欧美色色色色色色色| 五月天色婷婷激情综合| 久久九九视频网站| 99热最新地址在线| 91Chinese在线| 国产午夜精品一区二区| 91狼友视频在线观看| 亚洲九区| 婷婷五月色播放| 26uuu最新地址| 五月天六月色| 激情六月天| 免费看欧美成人A片无码| 五月天婷婷av| 久久资源网五月婷| 五月丁香A片| 91久久婷婷| 丁香五月天在线观看视频| 日本色久| 91丨九色|PRNY熟妇| 国产AV不卡福利| 任你日热视频| 99热国产| 丁香五月激情六月综合| 99er精品视频| 任你爽精品免费视频6| 996er热| 五月丁香啪啪啪| 欧美精品999| 青草青草视频2免费观看| 婷婷六月天| 中文字幕视频色婷婷| 五月J香蕉婷婷| 曰韩五月丁香色婷婷无码| 久久密臀婷婷| 综合色五月| 天堂爱爱| 久久婷婷综合五月天| 五月天色婷婷综合| 青青草五月天| 98热精品| 欧美天天综合网站上去吧| 久久婷婷六月综合| 九九亚洲| 夜夜资源站| 99久久国产成人精品| 五月之婷婷| 久久综合首页| 国产XXXX搡XXXXX搡麻豆| 日本欧美成人片AAAA| 超极99精品| 97超级碰碰碰| 26uuu淫色| 四色 爱 婷婷 精品 亚洲 五月天| 婷婷丁香基地在线| 丁香五月天论坛| 日本精品99网站| 996热| 激情五月婷婷综合网| 精品人妻伦一二三区久久| 五月婷婷丁香五月| 激情九色| 丁香色啪综合| 激情综合啪啪| #NAME?| 99在线观看亚洲| 99爱在线精品视频免费观看| 亚洲成av人影院| 久久久五月婷婷| 欧美韩日AAA网站| 色综合激情| 日本三级片片| 色五月婷婷视频| 一区二区三区视频| 亚洲成片在线观看| 婷婷五月天BBw| 深爱五月天| 操操国产| 久久三级视频| 激情综合色网| 91偷拍视频| 丁香五月天激情四射网络不好 | 欧美叉叉叉BBB网站| 婷婷永久在线| 97碰人人操| dingxiangtingtingliuyue| 人人干av| 淫视馆AV在线| 婷婷久久色| 韩国不卡AC视频| 夜夜操少妇| 能看的AV| 狠狠大香婷婷爱| 色色五月婷婷久久| www.久久9| 99这里是精品| 有码一区二区三区| 99热无码首页| 最新日韩久热免费视频看看| 射久久丁香五月| 99视频在线观看网址| 丁香五月婷婷激情蜜桃| 亚洲AV电影美洲AV电影| 天天肏高清在线| 色婷婷小说| 在线日韩视频| 337p大胆噜噜噜噜噜91Av| 碰超在线九色| 天堂AV在线看| 99亚洲精品综合在线| 婷婷激情区| 精品人妻一区二区三区在| 丁香六月av| 国产小精品| 日本熟妇人妻在线| 激情又色又爽又黄的A片| 伊人国产婷婷五月天 | 久久精品五月| 婷婷九月综合| 综合激情五月四射婷婷| 综合久久婷婷| 成人色五月天| 九九九九九九九九九九九九九九九九九九九在线视频 | 99干日本| 欧美 日韩 人妻 高清 中文| 99热在线这里| 俺也去婷婷五月天第五色| 国产精品第一国产精品| SESE无码AV| 九九香蕉网| 五月6香色婷婷视频| 26uuu精品国产| 丁香五月婷婷动漫| 99热午夜精品| 色婷婷视频综合| 九九99在线视频| 欧美啪啪9| 五月婷婷干干干| 天天色粽合合合合合合合| 亚洲综合婷婷五月天| 日韩性爱无码| 亚州色婷婷| se99在线| 五月天三级久久| 天天干电影| 99热精品免费在线观看| 综合色五月| 性欧美大战久久久久久久83| 97碰超级人人看| 日韩六六久久电影| 丁香5月激情网| 最新国产AV| 成人五月天色天堂| 亚洲视频码| 色婷婷九月| 色狠狠色狠狠| 色五月婷婷综合| 色婷婷成人做爰A片免费看网站| 婷婷色五月色| 婷婷丁香成人在线视频| 9人人操人人看| 九九热狼人| 精品久久99码| 玖玖99免费视频| 99黄色| 99熟女| 91久久九九| 色五月情| 丁香网站| 开心五月天激情网| 91久久久久久久久久久| 色五月丁香婷婷| 五月天伊人日日噜影片AV| 97操在线视频| 狠狠草网| 99热人人操人人操| 色播丁香婷婷五月激情| 五月婷五月婷伊人伊人五月婷| 91亚洲视频| 99热国品| 色婷婷婷婷| 亚洲av日韩无码| 激情婷婷五月社区| 99热成人在线观看| 操日本人妻视频| 岛国av网| 色在线99| 精品人妻在线| 日本黄色精品| 热久69| 操逼综合激情网| 日韩国产在线精品| 99热这里| 办公室少妇激情呻吟A片在线观看 白人荫道BBWBBB大荫道 | 久这里只有精品| 色色五月婷婷| 久久99热这里只有精品首| 激情综合色网| 97啪啪| 26uuu国产| 天天色粽合合合合合合合| 91啪啪视频| 九色婷婷| 色婷婷基地 | 夫妇交换刺激做爰| 色婷婷呢狠禁久禁| 操逼综合激情网| 亚洲色99综合天堂| 丁香五月激情久久麻豆| 思思久久久婷婷| 色五月 婷婷, 大香蕉| 91re色综合视频| 欧美日韩一区二区三区四区| 丁香色五月AV在线| 婷婷激情五月天小说| 色黄啪啪| 亚洲无码影音| 五月丁香操亭亭网| 五月天婷婷伊人| 粉嫩av懂色av蜜臀av熟妇| 色婷婷久久综| 色色亚洲五月天| 第四色色六月色综合| 狠狠色性| 色五月婷婷成人| 天天色综合综合| 日韩AC在线免费观看| 五月成人综合| aaaa.黄| 天天综合五月天| 婷婷五月综合在线| 五月婷婷综合影院| 这里只有精品日韩精品| 人妻久久久久久久久久久| 激情五月天婷婷丁香| 综合大香蕉| 五月综合久久| 色婷婷aV四虎| 国产五月天婷婷| 秋霞学生妹一二级| 天天综合在线网| 超碰AV在线| 99原创自拍视频在线观看| 五月丁香婷婷99| 国产激情综合五月久久| 婷婷五月天综合小说网| 五月开心激情| 婷婷五月天免费视频| 激情综合五月| www激情com| 婷婷五月丁香人妻无码高清| 色婷婷88| 开心五月深爱五月婷| 操久久精| 亚洲黄色网址| 欧美色图天堂网| 天天摸,天天爽| 99综合97| 日本91在线播放| 久久久久久久五月| 五月香婷婷| 激情五月小说婷婷| 九九这里只有精品在线视频| 久久亭亭电影| 91丨人妻丨国产丨丝袜| 996热| 天天色视频| 天天人人天天爽| 狠狠色丁香久久婷婷综合五月| 91Chinese在线| 99色免费视频| 少妇激情五月婷婷| 97人人做| 综合超碰熟| 97在线观看| 国产精品色色| 一月婷婷色色| 天天操人人干| 五月婷导航| 玖玖视频福利| www.综合久久.com| 91男人资源站| 久久综合婷婷| 日日操日日撸| 就要去操亚洲成人精品五月天丁香婷婷| 婷婷五月激情小说| 婷婷五月天免费99| 欧美性丁香色色五月天干干| 99热啪啪| 亚洲综合99| 色婷视频| 99久久极情精品一区| 成人AV中文字幕| 久机视频这只有精品| 婷婷五月丁香久久| 夜夜操少妇| 五月香蕉综合| 99re在线观看视频| 就爱啪啪婷婷| 一级操逼内射在线视频| 亚洲天天综合| 另类激情首页| 五月丁香婷婷免费视频| 人妻操逼视频| 六月丁香综合| 日韩久热| 99久在线精品99re8热| 99色色网| 日本狠狠干| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 最近中文字幕2019视频1| 丁香五月五月婷婷| 俺也去色| 狠狠精品干练久久久无码中文字幕| 久久A极片| 综合福利网| 人人97操| 亚洲在线综合| 久久久五月天| 激情又色又爽又黄的A片| 91狠狠综合久久久久久| 99精在线| 超碰91在线| 久久五月丁香| 亚洲欧美成人在线观看| 亚洲无码www| 久久婷婷亚洲| 天天模,夜夜模夜夜爽| 久久色五月天激情小说| 久久久大香蕉| 色婷婷成人做爰A片免费看网站| 色播五月丁香婷婷| 天天插天天射| 99在线综合视频| 全高清无码视頻| ri电影在线| 天天色天天色天天色天天色天天色| 激情小说在线视频| 丁香五月综合| 五月婷婷色啪| 久久黄色免费视频| 激情深爱五月天| 五月丁香六月综合激情| 超级碰人人操人人干| 91超碰人人操| 深情五月天| 久草五月| 久久9RE热视频精品98| 精品久久婷婷五月天| 五月色婷婷综合| 丁香五月 六月婷婷首页| 成人在线视频网| 婷婷五月天免费99| 久久永久网址| 激情综合网五月天| 99在线精品免费视频| 日韩精品超碰在线观看| 婷婷五月天成人网站| 久草热在线视频| 日本色色网站| 九九视频这里只有精品| 专区无日本视频高清8| 青青日韩| 五月婷婷丁香在线| 九九Av| 日本97在线| 在线99热| 丁香综合婷婷五月天| 丁香六月无码| 99精品这里只有免费视频| 人人性久久| 丁香成人五月天| 国产97色在线 | 日韩| 亚洲亚洲激情| 天天爱天天操| 伊人www22综合色| 高清无码视频网址| 国产人妻777人伦精品HD | 91九色 婷婷| 五月激情综合婷婷| 97精品人人A片免费看| 91成人品| 9久久久久| 超碰成人av| 26uuu精品一区二区| 天天干天天射综合网| 五月丁香婷婷久久| 狠色狠色狠狠色综合网| 久久色情| 久久激情五月| 2020日日干| 五月丁香六月欧美综合网站| 亚洲第一色色色色| 日日噜噜久久婷婷五月天 | 综合网色| 九九成人视频| 无码激情AAAAA片-区区| 久操婷婷| 五月综合色| 超碰久热| 天天干,夜夜爽| 99热精品在线观看| 六月丁香啪啪| 五月婷婷六月丁香| 久久综合久色欧美综合狠狠| 韩日另类| 国产99久9在线+|+传媒| 九九久久偷拍| 九九色天堂| 国产精品人妻在线网址| 91互操| 欧美精品啪啪| 色婷婷中文字母五月丁香| 婷婷综合五月天激情| 久月丁香爱婷婷综合| 婷婷色在线| 人人爱干人人爱草| 色的色综合| 天干天天干天天天天天| 五月综合婷婷久久在线| 五月天婷婷无码| 激情综合色婷婷啪啪六月天| 99色干| 狠狠干在线| 婷婷五月天影院| 亚洲日本韩国| 秋霞网在线免费基地五月婷婷丁香| 91九色 熟| 婷婷丁香91| 97在线精品| 婷婷开心激情综合五月天| 九九性爱网| 久久99久久99精品免视看婷婷| 九九热这里只有精品6| 影音先锋美国A| 激情网 久久| 激情九色| 超碰v| 日韩AV一区二区三区| 婷婷五月在线免费| 99久久久国产精品免费蜜乳tv| 操逼六区| 超pen个人视频97| 天堂网啪啪| 色五月开心五月激情五月| 思思色播| 九九这里有精品| 久热这里| 超碰国产av| 激情五月综合免费| 夜夜爱伊人| 99精品国产在热久久| 狠狠色五月| 婷婷五月天在线综合导航| 亚洲成人五月| 少妇水多A片太爽了| 久久九区| 亚洲热久久| 色色色综合色| Www.狠狠| 婷婷五月天熟妇| 九九伊人网| 色婷婷综合影院| 五月天婷婷激情春色小说| 99综合视频| 123日本不卡在线| 久久五月婷| 亚洲五月婷婷| 天天日天天久久青青| 色色综合成人网| 欧美日韩成人在线网站| 九九9久九9国产视频| 97久久人人| av成人在线播放| 五月天婷婷色色网| 色欲天天综合| 欧美性爱五月天| 91狠狠色| 日本在线视频播放91| 亚洲成人影视在线| 人人人人人人人人人草| 欧美婷婷丁香五月社区| 久久一级免费黄色片| 伊人9999| 亚洲一二三网| 五月成人网天天| 中文毛片无遮挡高潮免费| 91Chinese在线| 91九色在线视频| 秋霞av吧| 五月丁香啪啪综合网| 婷婷六月久久综合导航| 亚洲超碰在线| 日良久久| 色婷久久| 六月 丁香 视频| www.婷婷亚洲基地| 一起草Av| 久久性操| 另类视在线| 97视频91| 五月婷婷中文| 欧美狠狠一在草| 色色婷婷五月天| wuyuedingxiang99| 成人做爰高潮A片免费视频| 男女99免费视频| 99精品免费视频| 九九99九九99| 婷婷五月天开心网| 色色色激情网| 99热只有这里才是精品| 很很色丁香久久停停| 天天日夜夜拍| 色婷婷文字幕| 久色网址| 日本人妻丁香婷婷久久寝取熟女五月| 色婷婷成人做爰A片免费看网站| 伊人国产婷婷五月天| www.丁香黄色五月天人与| 婷婷激情五月天在线视频| 亚洲精品99| 日本成人小说婷婷六月| 涩婷婷视频快播人妻| 人人播| 狠狠爱综合| 天天爱天天操| 丁香六月av| 成人无码精品1区2区3区免费看| 中出内射的人妻视频| 草草色情综合网| 天天骑天天操| 任你艹| 精品视频二级九九| 色九月婷婷丁香| 97婷婷色| 7777国产盗摄农村女人| 噜噜狠狠色综无码久久合欧美| 久热伊人| 97色精品视频| 99狠狠色| 爱之国产色情综合| 亚洲影院婷婷色| 欧美日本黄色| 思99热精品久久只有精品| 亚洲美女裸体被操在线观看| 免费观看的av| 日本在线观看99| 第四色大香蕉| 六月婷婷狠狠| 99在线视频播放| 91.www综合| 99亚洲视频| oumeisesewang| 91精产一区三区免费观看| 色色五月天婷婷| 欧美婷婷成人| 天天爱天天做天天舔| 狠狠爱五月婷婷| 伊久大香蕉| 五月天成人综合| 色青五月天| 丁香六月婷婷激情综合| 很很色丁香久久停停| 综合色、色综合| 国产欧美第五十五页| 丁香五月婷婷手机| 丁香综合伊人| 91黄址| 日本A片一区| 亚洲精品V天堂中文字幕| 9999久久久久| 九九热在线视频观看| 啪啪激情网站| 色优久久| 亚洲熟女色| 91日综合欧美| 精品亚洲国产成AV人片传媒| 丁香蜜臀黄色婷婷五月天| 色狠狠综合| 五月天无码视屏播放| 九九色色| 久9视频| 人人操碰| 综合色色五月| 香蕉综合网| 99人人干| 久99热| www.婷婷亚洲基地| 超碰国产在线观看| 亚洲另类噜噜| 五月丁六月婷| 丁香婷婷激情综合五月激情| 天天操天天曰天天射| 丁香五月婷婷国产av| 日比网免费国产| 婷婷色影院| 色爱五月天| 99A片| 91男同| 日韩AV片| 操九色| 日本欧美999久久久三级片| 色婷综合| 热99久| 亚洲在线资源| 欧美人人操| 国产成人+综合亚洲+天堂| 久久五月天视频| 欧洲综合视频| 色情五月综合婷婷| 五月天伊人av| 无码婷婷五月天| 99久久a线观| 久久奄也去色色网站| 人妻肉射免费观看| 综合九九| 欧美成人性爱网| WWW.桔色成人.COM| 五月丁香六月婷| 成人av在线电影| 婷婷五月色天| 久久久久久久久久久-久五月天婷婷| ztEJj| 97操碰在线视频| 日本3级片偷拍网站| 丁香六月色婷婷欧美| 99色视频在线观看| 99免费在线| www.久久99| 男人先锋久久| 婷婷五月丁香色播| 综合五月婷婷| 久久婷婷五月天激情| 欧美黄色AA片哗啦啦啦| 九九99精品视频| 禁欲电影完整版在线播放| 97在线观看| 97se在线视频| 97视频.干com| 操逼福利视频| 99久超碰| 99热自拍| 青青草婷婷五月天| 综合99久久天天综合| 99精品久久久久久| 五月天婷婷社区久久综合| 激情综合网之激情五月| 国产成人+亚洲+欧洲| 大香蕉婷婷| 亚洲日本三级片| 91久久久久久久| 天天色综合综合| 99热.com| 狠狠色九月| 九九视频精品这里只有| 六月丁香VA| 26uuu国产| 嫩草国产| 伊人五月网| 五月天婷婷丁香| 久久婷婷东京热大香樵| 欧美天天综合网站上去吧| 亚洲婷婷五月天| 99热99色| 五月丁香婷婷综合网| 一本大道熟女人妻中文字幕在线| 99九九在线精品热动漫| 五月天色婷婷伊人网| 亭亭五月色男人| 99视频91| www.五月天社区| www.夜夜| 91日本在线观看| 99热这里只| 日韩精品视频中文字幕| 色很很96| 色吧五月婷婷| 五月婷婷日本| 五月丁香在线看| 日韩成人中文| 欧美色播综合在线观看| 99精品久久久| 99热费观看| 五月丁香激情综合啪啪| 99内射视频| 五月天综合激情网| 男男野外做爰全过程69| 久久久精品视频79| 99爱视频免费| 操碰99| 91狠狠综合久久久| 影视av久久久噜噜噜噜噜三级| 成人va视频| 激情五月丁香五月| 26UUU欧美激情一区二区| 中文字幕,综合,91| 97综合色片| 欧美丁香婷婷五月天| 九一九九黄色| 5月婷婷五月天| 殴美97色| 日日操夜夜撸| 婷婷天堂视频| 91精品在线看| 97干视频在线| 欧美乱码国产一级A片| 婷婷趴趴| 日韩啪| 色综合色综合网| 五月天色婷婷综合| 亚洲激情免费久久| 亚洲亚洲人成综合网络| 噜噜噜噜在线| 欧美色偷偷大香| 丁香五月天婷婷中文字幕| 91操在线视频| 色色婷| 亚洲情a| 啪精品| 99精色| 丁香婷五月天| 婷婷五月丁香图片人人操| 夜夜爽天天干| 99精品在线| 成人做爰黄A片免费看直播室男男| www.色色色色| 婷婷亚洲久久| 日本色婷婷| 国产寻花在线| 五月天丁香综合在线| 婷婷99| 国产探花AV在线| 成年视频免费观看| 色欲婷婷五月天| 天天舔天天| 91色碰| 九九热精品| 天天色官网| 婷婷97碰碰| 少妇高潮呻吟A片免费看软件| 久草热视频在线观看| 五月丁香狠狠爱| 五月丁香婷婷激情图片| 久久综合婷婷| 亚洲人人操BD| 激情九月婷婷| 另类亚洲电影| www色色色com| 日日夜夜狠狠干| 五月婷婷激情综合| 亚洲激情六月| 日韩成人电影AV| 国产这里只有精品| 另类精品视频在线观看| 狠狠干五月| 成人丁香五月| 色偷偷五月天| 狠狠另类视频| 任你擦免费视频| 国产成人综合电影| 久9热在线视频| 日本人人xxx| 色婷婷4| 色婷视频| 婷婷丁香综合| 久久九九热re6这里有精品| 九九久久精品| 九九热免费视频| 午夜激情五月| 人人舔人人色人人高潮| 久久久久激情网| 99热综合在线观看| 五月天激情国产综合婷婷婷| 色色色色色网站| 天天草天天舔| 日本色天堂| 色五月97| www.韩日视频| 丁香婷婷六月| 日本一级一片免费视频| 婷婷五月综合激情免费视频| 婷婷丁香五月天综合网| 亚洲小视频免费播放| 91九色大屁股| 亚州精品成人片| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 五月婷婷综合成人| 色婷青青| 国产精品久久久爽爽爽麻豆色哟哟| 99爱在线精品视频免费观看| 中文字幕综合网| 天天综合色| 日韩九九| 五月草视频| 思思精品热在线| 色99欧洲色19| 夜夜爽天天日| 天天操综合网站| 热99只有里视频| 少妇人妻综合色6699| 丁香久久| 亚洲综合另类| 97人人做| 亚洲激情四射| 激情丁香五月婷婷| 大香蕉九九| 无码激情AAAAA片-区区| 日比网免费国产| 91九九热| 大香蕉久久婷婷精品综合| 夜夜久久综合网 | 99热99精品在线观看| 人人舔人人色人人高潮| 青青福利网| 午夜婷婷六月天| 日本色视| 伊人久久婷婷| 97在线精品| 欧美精品狠狠色丁香婷婷| 碰超在线九色| 丁香五月日韩| 天天干,天天舔| 婷婷色5月天在线。| 激情网五夜婷婷| 丁香五月人妻熟女| 五月天五月天激情网| 婷婷.com| 97久久久久| AA片在线观看视频在线播放 | 99热在线99| 在线可以看的av网址| 99热成人| a在线观看| 国内精品免费一区二区2009| 久青草大香蕉| 五月丁香婷中文| 这里只有精品在线播放| 五月天综合在线| 久久激情五月婷婷| 色欲天天综合网| 九九亚洲综合| 日本欧美成人片AAAA| 色色色五月天激情资源| 色婷久九| 欧美综合五月丁香六月婷| 九九成人| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 国产精品成人AV在线| 超碰人人在线| 婷婷伊人五月丁香天堂网| 99久在线精品| 亚洲国产精品成人va在线观看| 丁香五月色网| 国产无遮挡又黄又爽免费网站| 久久丝袜婷婷| 密乳视频| 五月天婷婷社区| 五月婷婷亚洲综合在线| 丁香丁香激情网| 狠狠操天天干| 26uuu欧美| 99热加勒比| 天天精品视频在线观看视频| av在线激情| 一级内射毛片| 亚洲俩性性爱图片久久第六页| 99精品在线观看视频| 99热热热99精品婷婷| 久久婷婷五月综合| 五月婷婷婷婷| 日本狠狠干| 欧美婷婷丁香五月社区| 五月婷婷丁香狠狠撸久久| 激情六月天| a在线观看| 五月天婷婷丁香导航| 97日本在线播放| 婷婷另类开心| 五月激情综合网| 久久嘟嘟丁香| 热成人网| 综合色五月亭亭| 九月婷婷综合八月丁香在线观看| 91大神操美女| 五月婷婷六月丁香玖玖玫瑰91| 激情婷婷五月天在线观看| 在线观看免费视频| 五月天色导航婷婷资源婷婷| 91人人操人人| 九九人人精品| 五月天成人在线视频网站| 99色在线视频观看| 五月天婷婷色小说| 亚洲精品白浆高清久久久久久| 五月丁香 啪啪| 亚洲无码11| 国产激情av| 五夜婷婷| 三级黄网站| 91性高潮久久久久久久久| 成人在线综合| 亚洲啪啪视频| 97碰久久| 狠狠综合网| 这里只有精品偷拍| www.丁香五月| 九九爱看亚洲| 婷婷六月激情综合| 日本色狠狠| 国产精典视频在线观看| 日本三级韩三级99久久| 99热这里在线精品| 久热这里只有精品6| 亚洲激情 久久|