欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

大模型推理優(yōu)化:Prefill 與 Decode 兩階段瓶頸及調(diào)優(yōu)實(shí)踐

大模型推理優(yōu)化:Prefill 與 Decode 兩階段瓶頸及調(diào)優(yōu)實(shí)踐 你大概見(jiàn)過(guò)這種曲線(xiàn)服務(wù)剛上線(xiàn)時(shí)首 token 延遲兩百毫秒上下看著挺體面并發(fā)一上來(lái)這個(gè)數(shù)字開(kāi)始抖抖到兩秒、五秒可每 token 的輸出延遲卻穩(wěn)得很四五十毫秒沒(méi)怎么變。運(yùn)維查了網(wǎng)卡、查了顯存占用、查了卡上的利用率指標(biāo)都不難看但用戶(hù)就是在反饋卡。遇到這種情況我一般先不碰硬件也不急著換推理框架而是把一次請(qǐng)求拆成兩個(gè)性質(zhì)完全不同的階段來(lái)看——**Prefill預(yù)填充**和Decode解碼。這兩個(gè)詞在大模型推理里出現(xiàn)的頻率極高但真正搞清楚它們?cè)谟?jì)算上差在哪、為什么要用兩套策略去伺候的人并不多。Prefill 是一次性把整段 prompt 塞進(jìn)網(wǎng)絡(luò)一次前向算完所有 token 并行過(guò)模型Decode 是每步只吐一個(gè) token一步一循環(huán)直到遇到結(jié)束符。前者是典型的算力密集型后者是典型的訪存密集型兩者的瓶頸、優(yōu)化手段、調(diào)參方向幾乎是相反的。你把它們當(dāng)成一件事來(lái)調(diào)用同一套批處理策略、同一個(gè)顯存預(yù)算、同一種量化方案結(jié)果必然是兩頭不討好。這篇內(nèi)容就是把這層窗戶(hù)紙捅破從矩陣乘的形態(tài)講到顯存帶寬的賬從 KV Cache 怎么長(zhǎng)出來(lái)講到分塊預(yù)填充和 PD 分離怎么落地中間插一些我自己踩過(guò)的坑和可以直接抄的壓測(cè)腳本。不需要你先懂 CUDA 算子只要你會(huì)寫(xiě)幾行 Python、跑過(guò)模型服務(wù)就能順著往下讀如果你已經(jīng)在做推理部署第 4、5 部分應(yīng)該能直接對(duì)上你監(jiān)控里的那些異常曲線(xiàn)。1. 把兩個(gè)階段掰開(kāi)看一次請(qǐng)求到底發(fā)生了什么1.1 從輸入到第一個(gè) tokenPrefill 到底干了什么用戶(hù)發(fā)來(lái)一句話(huà)比如三百個(gè) token推理引擎收到的是一整個(gè) token 序列而不是一個(gè)一個(gè)喂進(jìn)去。Prefill 做的事情就是把這個(gè)長(zhǎng)度 300 的序列當(dāng)成一個(gè)整體走一遍完整的前向embedding 查表得到 300 個(gè)向量每一層做自注意力、做前饋網(wǎng)絡(luò)一路往上最后只取最后一個(gè)位置的輸出去算下一個(gè) token 的概率分布。注意這里的關(guān)鍵——300 個(gè)位置全部參與了計(jì)算但它們之間不是獨(dú)立的自注意力里的每個(gè)位置都要看到它前面所有位置的信息所以這一層的計(jì)算量隨序列長(zhǎng)度是平方級(jí)增長(zhǎng)的。用生活化的說(shuō)法Prefill 像是一次性把一整篇文章讀進(jìn)去理解讀的時(shí)候前后文互相對(duì)照讀完整篇才寫(xiě)出第一個(gè)字。這個(gè)過(guò)程里模型權(quán)重只需要被讀取一遍但是要參與大量的乘加運(yùn)算所以它對(duì)算力的胃口極大對(duì)顯存帶寬反而不那么敏感。這也是為什么在 Prefill 階段你會(huì)看到加速卡的算力利用率SM 占用、Tensor Core 活躍度能跑到比較高的水位而顯存控制器沒(méi)那么忙。還有一點(diǎn)容易被忽略Prefill 階段要一次性寫(xiě)入全量 KV Cache。300 個(gè) token每一層都要存下它們的 Key 和 Value這些數(shù)據(jù)后面 Decode 階段要反復(fù)讀取所以 Prefill 不只是算還是一次大規(guī)模的顯存寫(xiě)操作。這個(gè)寫(xiě)的量級(jí)我在 2.4 節(jié)會(huì)算給你看先記住這個(gè)動(dòng)作的存在。1.2 從第二個(gè) token 開(kāi)始Decode 為什么是一個(gè)繞不開(kāi)的循環(huán)第一個(gè) token 吐出來(lái)之后流程就變了。第二步的輸入只有一個(gè) token上一步生成的那個(gè)但它要跟前面 300 個(gè) token 的 KV 拼在一起做注意力。這里就體現(xiàn)出 KV Cache 的價(jià)值了前面 300 個(gè) token 的 K 和 V 在 Prefill 階段已經(jīng)算好存下來(lái)了Decode 每一步只需要算當(dāng)前這一個(gè) token 的 Q、K、V然后把新 K、V 追加到緩存尾部再用當(dāng)前 Q 去跟全部 301 個(gè)位置做注意力。如果沒(méi)有 KV Cache每一步都要把全部歷史重新算一遍代價(jià)會(huì)大到?jīng)]法用。關(guān)鍵是這個(gè)動(dòng)作要重復(fù)幾百上千次。每生成一個(gè) token你就要把整個(gè)模型的權(quán)重從頭到尾讀一遍但在當(dāng)前這一步里真正參與計(jì)算的新 token 只有一個(gè)。權(quán)重讀了幾十 GB算的卻只是一次矩陣乘向量這就是 Decode 階段的根本矛盾——算力大量閑置帶寬被榨干。你可以把它想象成每次只為了查一個(gè)字就把整本字典從頭翻一遍。字典的內(nèi)容權(quán)重沒(méi)有變翻的動(dòng)作顯存讀取卻是實(shí)打?qū)嵉某杀尽?.3 兩個(gè)階段的本質(zhì)差異用一張表說(shuō)清楚把上面的描述收斂成對(duì)照表后面所有的優(yōu)化手段幾乎都能從這張表里推出來(lái)維度Prefill預(yù)填充Decode解碼輸入形態(tài)長(zhǎng)度 T 的完整序列單 token每步計(jì)算量與 T 成正比線(xiàn)性層 與 T2 成正比注意力每步固定與歷史長(zhǎng)度成正比注意力部分權(quán)重讀取一次前向讀一遍每生成一個(gè) token 讀一遍核心瓶頸算力compute-bound顯存帶寬memory-bound矩陣形態(tài)大 GEMM瘦高矩陣乘胖矩陣GEMV 退化矩陣乘向量KV Cache批量寫(xiě)入逐步追加、全量讀取批處理收益中等主要攤薄權(quán)重讀取極高權(quán)重讀取被 batch 攤薄優(yōu)化重點(diǎn)提高算力利用率、減少無(wú)效計(jì)算提高帶寬利用率、增大有效 batch量化敏感度中注意激活值精度高權(quán)重位寬直接決定速度這張表建議你貼在工位上。后面遇到任何優(yōu)化方案先問(wèn)一句它作用在哪一列答案清楚了方案值不值得試也就清楚了。比如有人跟你說(shuō)把權(quán)重量化到 4bit 能提速一倍你心里應(yīng)該有數(shù)這是沖著右列去的對(duì) Prefill 的收益非常有限甚至可能因?yàn)榉戳炕_(kāi)銷(xiāo)反而變慢。2. 算力賬本為什么 Prefill 吃算力、Decode 吃帶寬2.1 算術(shù)強(qiáng)度一個(gè)能解釋大部分現(xiàn)象的比值要判斷一段計(jì)算是吃算力還是吃帶寬標(biāo)準(zhǔn)工具是算術(shù)強(qiáng)度Arithmetic Intensity定義很簡(jiǎn)單每從顯存里搬一個(gè)字節(jié)的數(shù)據(jù)能順帶做多少次浮點(diǎn)運(yùn)算。單位是 FLOP/Byte。拿它去和硬件的脊點(diǎn)Ridge Point比脊點(diǎn)等于硬件峰值算力除以峰值帶寬超過(guò)脊點(diǎn)的計(jì)算就是算力受限低于脊點(diǎn)的就是帶寬受限。拿一塊常見(jiàn)的數(shù)據(jù)中心加速卡舉例FP16 稠密算力按 300 TFLOPS 估顯存帶寬按 2000 GB/s 估脊點(diǎn)大約是 150 FLOP/Byte。意思是每搬 1 個(gè)字節(jié)的數(shù)據(jù)你得做夠 150 次浮點(diǎn)運(yùn)算才算沒(méi)浪費(fèi)這塊卡的算力?,F(xiàn)在看 Prefill。假設(shè) 7B 參數(shù)模型輸入 2048 個(gè) tokenFP16。權(quán)重總量約 13.4 GB只讀一遍計(jì)算量按經(jīng)驗(yàn)公式 2 × 參數(shù)量 × token 數(shù)估2 × 6.7e9 × 2048 ≈ 2.74e13 FLOPs也就是 27.4 TFLOP。算術(shù)強(qiáng)度 2.74e13 / 1.34e10 ≈ 2045 FLOP/Byte。遠(yuǎn)遠(yuǎn)高于 150妥妥的算力受限。所以 Prefill 該做的事是把算力榨干而不是省顯存讀取。再看 Decodebatch 1。每生成一個(gè) token權(quán)重還是讀 13.4 GB計(jì)算量只有 2 × 6.7e9 ≈ 1.34e10 FLOPs。算術(shù)強(qiáng)度 1.34e10 / 1.34e10 1 FLOP/Byte。連脊點(diǎn)的百分之一都不到。這就是為什么單請(qǐng)求跑 Decode 的時(shí)候你看顯卡的算力利用率會(huì)低得離譜而顯存帶寬可能已經(jīng)跑滿(mǎn)。這組數(shù)字帶來(lái)的直覺(jué)是Decode 階段要提升吞吐唯一的出路是把 batch 做大讓同一份權(quán)重讀取服務(wù)多個(gè)請(qǐng)求把算術(shù)強(qiáng)度拉回來(lái)。batch 16 時(shí)算術(shù)強(qiáng)度能到 16雖然離脊點(diǎn)還遠(yuǎn)但吞吐已經(jīng)是 batch 1 的十幾倍了。2.2 Prefill 的 FLOPs 拆解線(xiàn)性層和注意力各占多少很多人以為 Prefill 的耗時(shí)大頭永遠(yuǎn)是注意力這個(gè)認(rèn)知在短上下文下是錯(cuò)的在長(zhǎng)上下文下才對(duì)。我們把 2.74 TFLOP 拆開(kāi)看。線(xiàn)性層部分QKV 投影、輸出投影、FFN 的兩層總共接近 2 × 參數(shù)量 × T就是上面算的 27.4 TFLOP 里的大頭。注意力部分單獨(dú)算QK^T 的乘加是 2 × T2 × d加權(quán)求和 AV 也是 2 × T2 × d兩層注意力矩陣乘加起來(lái) 4 × T2 × d再乘層數(shù) L。代入 T 2048、d 4096、L 324 × 20482 × 4096 × 32 ≈ 2.2e12也就是 2.2 TFLOP。占比約 8%。但注意力是平方增長(zhǎng)的線(xiàn)性層是線(xiàn)性增長(zhǎng)的。把 T 拉到 8192注意力部分乘 16 變成 35 TFLOP線(xiàn)性層只乘 4 變成 110 TFLOP注意力占比升到 24%。再拉到 32768注意力變成 560 TFLOP線(xiàn)性層 440 TFLOP注意力占比過(guò)半。這份賬解釋了為什么同一個(gè)服務(wù)短 prompt 場(chǎng)景跑得好好的一接長(zhǎng)文檔場(chǎng)景就崩。不是你的框架不行是計(jì)算結(jié)構(gòu)變了原來(lái)可以忽略的那一項(xiàng)變成主項(xiàng)了。對(duì)應(yīng)的優(yōu)化手段也就不一樣短上下文該優(yōu)化 GEMM 的分塊和融合長(zhǎng)上下文得先想辦法把注意力的平方項(xiàng)壓下去。2.3 Decode 的訪存賬本單卡吞吐的理論上限D(zhuǎn)ecode 每一步要讀什么權(quán)重 13.4 GB加上當(dāng)前上下文的 KV Cache。上下文 2048 時(shí)KV Cache 大小在 1 GB 量級(jí)算法見(jiàn)下節(jié)總計(jì)約 14.4 GB。顯存帶寬 2000 GB/s理論耗時(shí) 14.4 / 2000 ≈ 7.2 毫秒換算成單請(qǐng)求速度約 139 token/s。這是理論天花板實(shí)際因?yàn)榱魉€(xiàn)氣泡、kernel 啟動(dòng)開(kāi)銷(xiāo)、帶寬利用率達(dá)不到 100%通常是這個(gè)數(shù)字的三分之一到二分之一也就是 40 到 70 token/s。你線(xiàn)上看到的單請(qǐng)求解碼速度基本就在這個(gè)區(qū)間。再看 batch 16。權(quán)重還是讀 13.4 GB但 KV 變成 16 × 1 GB 16 GB總計(jì) 29.4 GB耗時(shí) 14.7 毫秒。注意這 14.7 毫秒里16 個(gè)請(qǐng)求各自都推進(jìn)了一個(gè) token所以吞吐是 16 / 0.0147 ≈ 1088 token/s是單請(qǐng)求的 7.8 倍。這就是連續(xù)批處理的價(jià)值所在。順便說(shuō)個(gè)反直覺(jué)的現(xiàn)象batch 增大時(shí)單個(gè)請(qǐng)求的 TPOT每 token 延遲實(shí)際上是變差的。batch 1 時(shí) 7.2 msbatch 16 時(shí)每個(gè)請(qǐng)求還是要等 14.7 ms 才拿到自己的那個(gè) token。吞吐和延遲在 Decode 階段是明確的 trade-off不是雙贏。這一點(diǎn)在 4.1 節(jié)還要展開(kāi)。2.4 KV Cache 的顯存賬被大多數(shù)人低估的那部分KV Cache 到底多大公式是每 token 每層存一對(duì) K 和 V每個(gè)張量的元素?cái)?shù)是 n_kv_heads × head_dim數(shù)據(jù)類(lèi)型 FP16 占 2 字節(jié)。所以每 token 大小 2K 和 V× n_kv_heads × head_dim × 2 字節(jié) × 層數(shù)以 32 層、32 個(gè) KV 頭、head_dim 128 的模型為例2 × 32 × 128 × 2 × 32 524288 字節(jié)正好 512 KB/token。2048 個(gè) token 就是 1 GB8192 個(gè) token 就是 4 GB32768 token 就是 16 GB已經(jīng)超過(guò)模型權(quán)重本身了。如果模型用了分組查詢(xún)注意力GQA把 KV 頭從 32 組減到 8 組每 token 直接降到 128 KB同樣的顯存能撐四倍上下文。這是現(xiàn)在主流模型幾乎都上 GQA 的核心原因省的不是算力是 KV Cache。做容量規(guī)劃時(shí)可以這樣估一塊 80 GB 顯存的卡模型權(quán)重 13.4 GB留給 KV 的按 60 GB 算還要留激活值和臨時(shí)緩沖區(qū)如果每 token 128 KB能裝下約 46 萬(wàn)個(gè) token 的總量。這個(gè)總量是所有并發(fā)請(qǐng)求共享的8 個(gè)并發(fā)各 8192 上下文就用掉 65 萬(wàn)個(gè) token直接爆。這就是為什么長(zhǎng)上下文并發(fā)一高就 OOM而單純把 batch 調(diào)小只是把問(wèn)題往后推。3. 算子視角從 GEMM 到 GEMV 的性能落差3.1 Prefill 階段是大矩陣乘的堆疊Prefill 里最主要的計(jì)算形態(tài)是 GEMM通用矩陣乘。以 FFN 層為例輸入是一個(gè) [T, d] 的矩陣權(quán)重是 [d, 4d] 的矩陣輸出 [T, 4d]。T 動(dòng)輒幾百上千兩個(gè)維度都足夠大GPU 的 Tensor Core 可以做很好的分塊數(shù)據(jù)復(fù)用率高算力能跑到峰值的相當(dāng)比例。QKV 投影同理輸入 [T, d] 乘權(quán)重 [d, 3d]也是大 GEMM。這類(lèi)計(jì)算的優(yōu)化方向很成熟算子融合把 QKV 三個(gè)投影合成一個(gè)、分塊大小調(diào)優(yōu)、用更寬的累加精度。你去看推理框架的日志Prefill 階段耗時(shí)基本都花在少數(shù)幾個(gè)大 kernel 上每個(gè) kernel 的耗時(shí)是可以預(yù)測(cè)的優(yōu)化空間主要在于減少 kernel 數(shù)量和減少中間結(jié)果的顯存往返。3.2 Decode 階段退化成矩陣乘向量Decode 的輸入只有一個(gè) token也就是 [1, d] 的向量去乘 [d, 4d] 的權(quán)重矩陣。這在形態(tài)上叫 GEMV矩陣乘向量。問(wèn)題是 GEMV 的訪存模式極不友好權(quán)重的每一行只用一次沒(méi)有任何復(fù)用相當(dāng)于純粹把權(quán)重從顯存搬到計(jì)算單元搬完就扔。這在 GPU 上是最浪費(fèi)的場(chǎng)景之一。這也是為什么很多框架在 Decode 階段會(huì)做批量化 GEMV把 batch 個(gè)請(qǐng)求的向量拼成 [B, d]退化成一個(gè)小 GEMM。B 越大越接近 GEMM 的效率。但 B 受限于顯存和延遲要求實(shí)際很難做大通常在 8 到 64 之間徘徊。還有一個(gè)經(jīng)常被忽視的成本kernel 啟動(dòng)開(kāi)銷(xiāo)。Decode 每生成一個(gè) token都要走完全部層幾十個(gè) kernel 挨個(gè)啟動(dòng)。如果每個(gè) kernel 只有幾十微秒啟動(dòng)開(kāi)銷(xiāo)和調(diào)度開(kāi)銷(xiāo)的占比就很可觀了。所以 Decode 階段特別吃算子融合和CUDA Graph 捕獲這類(lèi)手段把整段前向固化成一張圖一次性提交能省掉大量 CPU 側(cè)的調(diào)度開(kāi)銷(xiāo)。這一點(diǎn)在 batch 小的時(shí)候尤其明顯我自己實(shí)測(cè)過(guò)只加圖捕獲這一項(xiàng)小 batch 場(chǎng)景的 TPOT 能降一到兩成。3.3 注意力部分兩種截然不同的數(shù)據(jù)流動(dòng)Prefill 的注意力是一整塊下三角的因果掩碼矩陣。T 個(gè) query 對(duì) T 個(gè) key 做注意力掩碼保證每個(gè)位置只能看到自己和前面。這個(gè)形態(tài)適合做分塊計(jì)算把一個(gè) T×T 的大矩陣切成小塊只算下三角部分跳過(guò)被掩碼的上三角。分塊注意力的核心思路就是避免把整個(gè) T×T 的注意力分?jǐn)?shù)矩陣物化到顯存里——那個(gè)矩陣在 T 8192 時(shí)是 81922 × 2 字節(jié) ≈ 128 MB 每頭每層物化出來(lái)直接爆。Decode 的注意力則簡(jiǎn)單得多當(dāng)前這一個(gè) query對(duì)長(zhǎng)度為 L 的全部 key 做注意力。分?jǐn)?shù)向量長(zhǎng)度是 L不涉及平方項(xiàng)。但它是純讀取操作——要把 KV Cache 里 L 個(gè)位置的數(shù)據(jù)全讀一遍。上下文 2048 時(shí)讀 1 GB耗時(shí) 0.5 ms看著不多上下文 32768 時(shí)讀 16 GB耗時(shí) 8 ms已經(jīng)超過(guò)讀權(quán)重的 6.7 ms 了。這時(shí)候 Decode 的瓶頸從權(quán)重帶寬變成了KV 帶寬。這就是長(zhǎng)上下文解碼慢的底層原因不是模型變復(fù)雜了是每步要搬的數(shù)據(jù)變多了。對(duì)應(yīng)的手段有 GQA直接減少 KV 體積、KV 量化FP16 降到 INT8體積減半、稀疏注意力只讀部分 KV、以及滑動(dòng)窗口限制窗口大小老 KV 直接丟棄。每一樣都是在拿精度或能力換速度沒(méi)有免費(fèi)的午餐。3.4 分頁(yè)式 KV 管理與前綴復(fù)用傳統(tǒng)做法是給每個(gè)請(qǐng)求預(yù)分配一塊連續(xù)的顯存放 KV長(zhǎng)度按最大可能值留實(shí)際用不完也不給別人。這會(huì)造成嚴(yán)重的內(nèi)部碎片——一個(gè)請(qǐng)求只要 200 token你按 8192 預(yù)留剩下 7992 的空位全浪費(fèi)了。當(dāng)并發(fā)上來(lái)顯存被一堆半空的塊占滿(mǎn)明明還有余量卻接不了新請(qǐng)求。分頁(yè)式管理借鑒了操作系統(tǒng)的虛擬內(nèi)存思路把 KV Cache 切成固定大小的塊比如每塊存 16 個(gè) token 的 KV按需分配不要求物理連續(xù)用一張映射表記錄邏輯位置到物理塊的對(duì)應(yīng)關(guān)系。好處有三個(gè)碎片幾乎消失顯存利用率能到 90% 以上請(qǐng)求長(zhǎng)度可以動(dòng)態(tài)增長(zhǎng)不用預(yù)留最重要的是塊可以共享。塊共享這點(diǎn)衍生出一個(gè)非常實(shí)用的功能前綴緩存。很多線(xiàn)上場(chǎng)景的 prompt 有大量相同前綴比如固定的系統(tǒng)提示詞、固定的知識(shí)庫(kù)文檔頭。這些前綴算出來(lái)的 KV 完全一樣沒(méi)必要每個(gè)請(qǐng)求都重算一遍。分頁(yè)管理下只要把相同前綴的塊標(biāo)成共享后續(xù)請(qǐng)求直接跳過(guò)這部分 Prefill只算新增的部分。我在一個(gè)客服類(lèi)場(chǎng)景里試過(guò)系統(tǒng)提示詞加固定說(shuō)明有 1500 token命中前綴緩存后首 token 延遲從 600 ms 降到 180 ms效果立竿見(jiàn)影。注意前綴緩存的前提是前綴逐 token 完全一致差一個(gè)字符都會(huì)失效。實(shí)際落地時(shí)要把動(dòng)態(tài)內(nèi)容時(shí)間戳、用戶(hù)名挪到 prompt 末尾否則命中率會(huì)低得讓你懷疑人生。4. 工程實(shí)踐把兩階段調(diào)順手的幾個(gè)關(guān)鍵動(dòng)作4.1 首 token 延遲與單 token 延遲的取舍衡量推理服務(wù)質(zhì)量?jī)蓚€(gè)核心指標(biāo)必須分開(kāi)看TTFTTime To First Token首 token 延遲主要由 Prefill 決定加上排隊(duì)時(shí)間TPOTTime Per Output Token每 token 延遲主要由 Decode 決定加上調(diào)度間隔。用戶(hù)體感上TTFT 決定點(diǎn)完之后多久有反應(yīng)TPOT 決定吐字流不流暢。這兩個(gè)指標(biāo)是互相打架的。你真要壓低 TTFT就得讓 Prefill 優(yōu)先跑把 Decode 請(qǐng)求掛起等著Preill 一跑就是幾十上百毫秒這期間所有正在解碼的請(qǐng)求全都停頓用戶(hù)看到的就是打字機(jī)卡住。反過(guò)來(lái)你為了保證 TPOT 平穩(wěn)就得限制 Prefill 的頻率和批量TTFT 自然上去。我的經(jīng)驗(yàn)是做分檔交互式場(chǎng)景聊天、助手優(yōu)先保 TPOT把 Prefill 切碎混進(jìn) Decode 的批里TTFT 允許 300 到 800 ms批處理場(chǎng)景文檔摘要、批量翻譯優(yōu)先保吞吐Prefill 可以大批量跑滿(mǎn)TTFT 到幾秒也無(wú)所謂。這兩類(lèi)流量最好在入口就做好路由別混在一個(gè)池子里否則兩邊的指標(biāo)都會(huì)難看。4.2 分塊預(yù)填充讓長(zhǎng) prompt 不再堵車(chē)分塊預(yù)填充Chunked Prefill是我認(rèn)為性?xún)r(jià)比最高的一個(gè)改動(dòng)。做法很簡(jiǎn)單把一個(gè)長(zhǎng) prompt 的 Prefill 拆成若干塊比如每塊 512 個(gè) token然后每一輪調(diào)度時(shí)把一塊 Prefill 和當(dāng)前所有 Decode 請(qǐng)求拼成一個(gè)混合批一起跑一次前向。這樣做的效果是把原來(lái)一次獨(dú)占式的大 Prefill變成多次小塊 Prefill代價(jià)是 TTFT 稍微變長(zhǎng)因?yàn)榉至藥纵喪找媸?Decode 請(qǐng)求幾乎感受不到停頓TPOT 曲線(xiàn)會(huì)變得平滑。對(duì)于那些既要處理長(zhǎng)文檔又要同時(shí)服務(wù)多個(gè)短對(duì)話(huà)的服務(wù)這個(gè)改動(dòng)能直接把尾延遲壓下去一大截。參數(shù)選擇上有講究塊太小調(diào)度次數(shù)變多每次的固定開(kāi)銷(xiāo)占比上升整體吞吐下降塊太大Decode 被擠占的時(shí)間變長(zhǎng)TPOT 抖動(dòng)回來(lái)了。我的經(jīng)驗(yàn)是從 512 開(kāi)始試觀察 TPOT 的 P99 和整體吞吐如果 P99 抖得厲害就往下調(diào)到 256如果吞吐掉得多就往上調(diào)到 1024。這個(gè)值和硬件、模型大小強(qiáng)相關(guān)沒(méi)有一個(gè)通用最優(yōu)解。4.3 連續(xù)批處理與顯存水位控制連續(xù)批處理Continuous Batching解決的是一個(gè)批里最快的請(qǐng)求要等最慢的這個(gè)浪費(fèi)問(wèn)題。傳統(tǒng)靜態(tài)批處理一批里 8 個(gè)請(qǐng)求7 個(gè)已經(jīng)生成完了在等第 8 個(gè)這 7 個(gè)占著顯存不干活。連續(xù)批處理的做法是每生成一步就檢查一次誰(shuí)結(jié)束了立刻踢出去空出來(lái)的位置馬上塞新請(qǐng)求進(jìn)來(lái)。這個(gè)機(jī)制對(duì) Decode 階段意義巨大因?yàn)?Decode 的每一步是一個(gè)天然的調(diào)度點(diǎn)。但要注意一個(gè)細(xì)節(jié)新請(qǐng)求進(jìn)來(lái)通常先要跑 Prefill如果它一進(jìn)來(lái)就獨(dú)占正在解碼的請(qǐng)求又要停。所以連續(xù)批處理必須和分塊預(yù)填充配合使用否則等于把堵車(chē)點(diǎn)從入口挪到了中途。顯存水位控制是配套的另一個(gè)動(dòng)作。引擎一般會(huì)設(shè)一個(gè)閾值比如顯存占用的 90%超過(guò)就拒絕新請(qǐng)求或者排隊(duì)。這個(gè)閾值不能設(shè)太滿(mǎn)因?yàn)?Prefill 的激活值峰值比 Decode 高很多——處理一個(gè) 8192 token 的 Prefill中間激活值可能要吃幾 GB如果你按 Decode 的用量把顯存占到 95%一個(gè)長(zhǎng) prompt 進(jìn)來(lái)直接 OOM。我一般留 10% 到 15% 的余量并且對(duì)超過(guò)某個(gè)長(zhǎng)度的 prompt 單獨(dú)做限流。4.4 量化與推測(cè)解碼分別作用在哪一段量化怎么影響這兩個(gè)階段值得單獨(dú)說(shuō)因?yàn)楹芏嗳肆炕臧l(fā)現(xiàn)沒(méi)提速以為是量化沒(méi)用其實(shí)是作用錯(cuò)了地方。權(quán)重量化比如 4bit、8bit 只量化權(quán)重激活值還是 FP16主要收益在 Decode。因?yàn)?Decode 是帶寬受限權(quán)重從 16bit 降到 8bit讀取量直接減半速度理論上接近翻倍實(shí)測(cè)常見(jiàn) 1.4 到 1.8 倍。而 Prefill 是算力受限權(quán)重量化省下的帶寬它用不上反而要額外做反量化可能還慢一點(diǎn)。權(quán)重加激活全量化W8A8才有可能同時(shí)惠及 Prefill因?yàn)榧せ钜沧兂傻途群缶仃嚦丝梢杂玫途鹊?Tensor Core算力翻倍。但這條路對(duì)精度的影響要仔細(xì)評(píng)估特別是激活值的離群點(diǎn)問(wèn)題很多模型直接上 W8A8 會(huì)掉點(diǎn)得厲害需要配合平滑或裁剪手段。推測(cè)解碼Speculative Decoding是另一個(gè)思路用一個(gè)小模型快速草擬幾個(gè) token再用大模型一次性并行驗(yàn)證。它本質(zhì)上是把 Decode 的多個(gè)串行步驟轉(zhuǎn)化成一次 Prefill 形態(tài)的并行驗(yàn)證——因?yàn)轵?yàn)證階段可以把 k 個(gè)候選 token 當(dāng)成一個(gè)長(zhǎng)度為 k 的序列一次性過(guò)模型這正好是 Prefill 的形態(tài)。所以推測(cè)解碼特別適合 Decode 帶寬打滿(mǎn)、算力閑置的場(chǎng)景能把閑置的算力利用起來(lái)。代價(jià)是要多一份小模型的權(quán)重顯存并且在草稿命中率低的時(shí)候收益歸零。4.5 一套可復(fù)現(xiàn)的壓測(cè)方法調(diào)參不能靠感覺(jué)得有一套能量化 TTFT 和 TPOT 的壓測(cè)。下面這段是我常用的骨架思路是流式接收、記錄首塊到達(dá)時(shí)間和總耗時(shí)然后取中位數(shù)和 P99 看穩(wěn)定性import time import statistics def bench_one(client, prompt, max_new_tokens128): t0 time.perf_counter() ttft None n_tokens 0 for chunk in client.stream(prompt, max_tokensmax_new_tokens): now time.perf_counter() if ttft is None: ttft now - t0 # 首塊到達(dá) n_tokens 1 total time.perf_counter() - t0 # 減去 TTFT 得到純解碼耗時(shí)再除以生成的 token 數(shù) tpot (total - ttft) / max(n_tokens - 1, 1) return ttft, tpot def bench(client, prompt, runs30): ttfts, tpots [], [] for _ in range(runs): a, b bench_one(client, prompt) ttfts.append(a) tpots.append(b) ttfts.sort(); tpots.sort() p99 lambda xs: xs[int(len(xs) * 0.99) - 1] return { ttft_median: statistics.median(ttfts), ttft_p99: p99(ttfts), tpot_median: statistics.median(tpots), tpot_p99: p99(tpots), }壓測(cè)時(shí)有幾個(gè)細(xì)節(jié)必須控制住否則數(shù)據(jù)沒(méi)有可比性。第一固定輸入長(zhǎng)度和輸出長(zhǎng)度別讓模型自由發(fā)揮不然每次生成的 token 數(shù)不同TPOT 沒(méi)法比。第二并發(fā)梯度測(cè)試從 1 并發(fā)測(cè)到目標(biāo)并發(fā)每一檔都記錄你會(huì)看到一條清晰的曲線(xiàn)并發(fā)上升吞吐先漲后平TTFT 和 TPOT 單調(diào)上升拐點(diǎn)就是這套配置的合理水位。第三區(qū)分冷啟動(dòng)和熱態(tài)第一次請(qǐng)求要加載權(quán)重、要編譯圖數(shù)據(jù)不能用。還有一點(diǎn)壓測(cè)客戶(hù)端本身別成為瓶頸。Python 的同步 HTTP 客戶(hù)端在高并發(fā)下會(huì)被 GIL 和連接管理拖垮測(cè)出來(lái)的延遲里有一大半是客戶(hù)端自己的開(kāi)銷(xiāo)。并發(fā)超過(guò)幾十就要用異步客戶(hù)端或者多進(jìn)程壓我吃過(guò)這個(gè)虧一度以為服務(wù)端有問(wèn)題查了兩天才發(fā)現(xiàn)是壓測(cè)腳本自己在排隊(duì)。5. 問(wèn)題排查實(shí)錄那些監(jiān)控看不出原因的卡頓5.1 癥狀速查表線(xiàn)上一旦出現(xiàn)延遲異常先對(duì)照這張表定位能省掉大量瞎猜的時(shí)間癥狀大概率原因優(yōu)先檢查項(xiàng)TTFT 高但 TPOT 正常Prefill 排隊(duì)、批太大、前綴緩存沒(méi)命中排隊(duì)深度、Prefill 批大小、緩存命中率TTFT 正常但 TPOT 抖動(dòng)Prefill 搶占、塊大小設(shè)置不當(dāng)分塊預(yù)填充是否開(kāi)啟、塊大小TTFT 和 TPOT 同時(shí)劣化顯存接近上限、觸發(fā)換頁(yè)或拒絕顯存水位、KV 塊分配失敗率長(zhǎng) prompt 直接超時(shí)激活值峰值 OOM、單請(qǐng)求限流最大輸入長(zhǎng)度限制、顯存余量并發(fā)上不去但顯存沒(méi)滿(mǎn)KV 碎片、塊分配器配置過(guò)小塊大小、可用塊數(shù)量量化后吞吐沒(méi)變化量化只作用在權(quán)重瓶頸在算力側(cè)是 Prefill 還是 Decode 慢單請(qǐng)求快、多請(qǐng)求慢批處理未生效或 batch 上限太低連續(xù)批處理開(kāi)關(guān)、最大批大小首字很快但中途卡住KV 緩存被回收、請(qǐng)求被搶占重算搶占策略、優(yōu)先級(jí)配置這張表不是窮舉但覆蓋了我遇到過(guò)的大部分情況。用法是從左列找最像的然后按右列逐項(xiàng)排除通常兩三輪就能定位。5.2 幾個(gè)反直覺(jué)的坑第一個(gè)坑加大 batch 不一定提升吞吐。很多人看到吞吐不夠就把最大批大小往大了調(diào)結(jié)果發(fā)現(xiàn)吞吐反而降了。原因是 batch 大到一定程度后KV Cache 的讀取量超過(guò)了權(quán)重讀取量邊際收益遞減更糟的是顯存接近上限塊分配失敗率上升觸發(fā)請(qǐng)求搶占和重算實(shí)際干了雙份活。我一般的做法是找到那條吞吐曲線(xiàn)的平臺(tái)段停在平臺(tái)的 80% 位置留出余量應(yīng)對(duì)突發(fā)。第二個(gè)坑Prefill 的耗時(shí)不是線(xiàn)性的。有人按每 token 均攤?cè)ス浪阌X(jué)得 4096 token 的 prompt 應(yīng)該是 2048 的兩倍耗時(shí)。實(shí)際不是因?yàn)樽⒁饬Φ钠椒巾?xiàng)在長(zhǎng)上下文下占比上升4096 的 Prefill 耗時(shí)可能是 2048 的兩倍半甚至三倍。做容量規(guī)劃時(shí)一定要按實(shí)際長(zhǎng)度壓測(cè)別用線(xiàn)性外推。第三個(gè)坑流式輸出的第一個(gè)塊不一定是真首 token。有些客戶(hù)端或網(wǎng)關(guān)會(huì)先發(fā)一個(gè)空的心跳塊或者角色聲明塊你在客戶(hù)端計(jì)時(shí)會(huì)把這段時(shí)間算進(jìn) TTFT測(cè)出來(lái)的數(shù)字比服務(wù)端真實(shí)值高出一截。排查時(shí)要在服務(wù)端也埋一份計(jì)時(shí)兩邊對(duì)不上就說(shuō)明中間有額外緩沖。這個(gè)問(wèn)題很隱蔽因?yàn)榍€(xiàn)看起來(lái)只是TTFT 偏高你會(huì)一直往服務(wù)端查。第四個(gè)坑KV Cache 量化之后長(zhǎng)上下文的精度下降比短上下文明顯得多。因?yàn)?KV 量化誤差會(huì)隨著讀取的位置數(shù)量累積上下文越長(zhǎng)注意力加權(quán)時(shí)引入的偏差越大。短問(wèn)答場(chǎng)景測(cè)不出問(wèn)題一上長(zhǎng)文檔就發(fā)現(xiàn)模型開(kāi)始記不住前面的內(nèi)容。要做 KV 量化必須用長(zhǎng)上下文任務(wù)做驗(yàn)證不能只跑短 prompt 的評(píng)測(cè)集。第五個(gè)坑多卡張量并行的通信開(kāi)銷(xiāo)在 Decode 階段占比極高。張量并行把每一層的矩陣乘切到多卡上每層要做兩次全歸約。Prefill 階段計(jì)算量大通信能被掩蓋Decode 階段每層的計(jì)算只有幾十微秒通信延遲直接暴露出來(lái)。所以你會(huì)看到 4 卡部署的 Prefill 快了 3 倍多Decode 只快了 1.5 倍。小模型做 Decode 尤其不劃算寧可單卡多實(shí)例。最后分享一個(gè)我覺(jué)得最實(shí)用的觀察方式把 TTFT 和 TPOT 畫(huà)成兩條隨時(shí)間變化的曲線(xiàn)疊上并發(fā)數(shù)。正常情況下三條線(xiàn)的形狀應(yīng)該是同步的——并發(fā)漲、兩條延遲漲、并發(fā)落、延遲落。如果是 TTFT 跟著并發(fā)漲但 TPOT 是平的問(wèn)題在入口調(diào)度如果 TPOT 出現(xiàn)周期性尖峰而并發(fā)沒(méi)變多半是分塊預(yù)填充的塊太大或者在跑定期任務(wù)如果兩條線(xiàn)一起抖且幅度很大去看顯存水位十有八九是塊分配器在掙扎。這套看圖方法比翻日志快得多尤其是在你沒(méi)時(shí)間深挖的時(shí)候能讓你在幾分鐘內(nèi)把范圍縮到一兩個(gè)模塊。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月天五月色| 99热6色| 久久黄色网扯| 另类色视频| 亚洲性受XXXX五月丁香| 99热久只有精品首页| 久久综合影院| 婷婷综合网| 久久久人妻人伦| 丁香花色色网| 久婷婷五月丁香在线观看| 欧美成人无码高清一区二区三区| 爱草视频在线| 亚洲第79页| 五月天网站免费欧美| 可以看的av网站| 99精品综合视频| 五月天婷婷综合网| 99热综合| 欧美激情性做爰免费视频| 黄桃AV无码免费一区二区三区| 国产亚洲精品久久久久久郑州| 青青青在线视频国产| 少妇高潮A片无套内谢麻豆传| 开心五月色婷婷综合开心网| 丁香五月瑟瑟| 国产婷婷综合在线免费视频| 亚洲五月天综合色| 伊人色欲五月天| 天天色综网| 99色热| 991精品在线视频| 亚洲精品成人| 风流少妇A片一区二区蜜桃| 国产欧美日韩综合精品一区二区| 香蕉色色网| 五月丁香亭亭AV女优| 91疯狂操操操操| 久9久9热久热| 综合热无码| 五月香蕉婷婷| 操骚货在线| 99精品热视频| 久久精品A片777777| www.一区二区三区| 日本啪啪天堂| 99成人精品| 激情五月天伊人av| 97人人超| 九九热视频精品999| 丁香六月天婷婷| 天天插天天射天天干| 激情综合亚洲| 久久性爰视频这里只有精品| 色婷婷888| 日韩成人网址| 日操夜操天天操不卡| 亚洲色婷婷五月天| 九九这里有精品视频| 五月涩涩网| 人人操五月天| 亚洲愉拍99热成人精品| 日本黄色一级| 97碰碰视频在线观看免费| 丁香五月天色综合| 夜夜爱网站| 91精品久久久久久| 丁香五月狠狠在线观看| 色综合综合色| 成人性爱精品视频| 99热精品在线观看| www.韩日视频| a色色色色色| 久久久久久丁香五月| 天天综合 99久久婷婷| 五月天激情综合网| 精品国婬伦V无码久久久| 激情婷婷在线中文字幕| 狠色狠色综合久久| 51国精产品自偷自偷综合| 成人做爰高潮A片免费视频| 毛v一区二区视频| 五月丁香久人妻中文| 人人做天天爱| 亚洲精品大片| 午夜日韩久久久网站| 丁香婷婷人妻| 五月婷婷啪啪| 婷婷色情 | 婷婷五月丁香色播| sewuyuejiqingwang| 91精品久久久久久综合五月天| 六月丁香久久| 九一九九黄色| 日本无va视频| 久热9| 午夜微拍福利| 天天爽天天日人人爱| 久草热视频在线观看| 天天狠狠夜夜狠狠2023| 99热最新国内| 99热久只有| 丁香五月在线| 性按摩玩人妻HD中文字幕| 伊人久久大香线蕉av一区| 亚洲婷婷丁香五月天激情小说| 五月丁香婷婷网在线在线| 日韩色色视频| www.久久综合| 色九月国产| 99热99成人| 日韩AAAAA| 91碰碰碰| 五月婷婷丁香综合| 亚洲另类日本| 婷婷视频在线| 丁香婷婷五月激情综合| 久久综合五月天| 久久精品99国产精品日本| 9l视频自拍9l视频自拍九色学生| 中文字幕乱轮| 国产精品久久久久久久久久免费| 久久久www| 五月婷婷我| 激情综合网五月天| 五月丁香六月激情综合| 久久精品99久久| 激情WWW| 天天肏视频| 国内9l视频自拍老熟女九色| 情情五月天色| 五月天婷婷基地| 久久WW| 天天天天做夜夜夜夜做| 五月天激情小说网| 欧洲99视频在线| 天天干天天做| 久久玖玖99| 97色色色视屏| 日日夜夜干| 婷婷视频网| 99爱视频在线观看| 六月激情婷婷| 99在线视频播放| 香蕉99网| 国产日日操夜夜操的肉棒视频| 色婷婷丁香五月| 色99在线看| 99久久久国产精品免费蜜乳tv| 激情五月丁香五月| 色9999日韩国产| 亚洲色五月婷婷| 五月开心播播网| 婷婷六月丁香在线| 婷婷五月av| 色五月色情| 激情婷婷五月色| 五月婷婷婷| 欧美三日本三级少妇三99| 婷婷五月激情天| 一区二区三区四日本| 久久天天天| 婷婷午夜激情| 91热99| 久久婷婷五月天| 国产色色色色色| 呦呦视频无码播放| 丁香六月天婷婷色| site:publishdd.com| 欧洲色区| 丁香色啪综合| 国产精产国品一二三在观看| 亚洲九九99精品视频在线播放| 99这里有精品| 精品一区二区三区四区五区六区介绍| 99re在线观看| 少妇婷婷五月天| 五月婷婷色色| 亚洲性图一区二区三区| 国产3p露脸普通话对白| 一夜福利不卡| 免费看欧美成人A片无码| 九九热九九热精品| 91蜜桃婷婷狠狠久久综合9色| 五月丁香啪啪激情| 人人操99| 六月亚洲婷婷6月中文字幕| 九九無妻| 亚洲俩性性爱图片久久第六页| 久久婷婷六月综合| 丁香五月情色| 97人妻碰碰中文无码久热丝袜| 久久婷婷精品| 欧美性爱五月天| 99福利导航| 99视频这里有精品| 91人操| 大香蕉伊人99| 97成人丁香婷婷| 日本丁香五月| 婷婷五月天亚洲色| 婷婷五月综合中文字幕| 色五月丁香婷婷| 色吊丝av中文字幕| 五月综合激情| 久热这里只有精品6官网亚洲| 性爱久久| 九九99精品视频在线观看| 精品导航在线x不卡| 婷婷五月丁香香蕉| 五月天伊人久久久久| 丁香六月综合激情| 日韩成人电影AV| 欧洲色| WWW五月婷婷| 色色五月婷婷| 九月色婷婷综合| 中文婷婷狠狠| 99只有精品| 成人在线综合| 99热综合网| www.精品99| 九九9久九9国产视频| 天天干天天叉| 99免费青青蜜臀| 色婷婷精品视频| 123草逼网| 操人91| 99re熱| 免费看欧美成人A片无码| 婷婷六月色情| 丁香五月综合久久| 色婷婷五月天偷拍| 六月香五月婷| 碰超在线九色| 激情图片五月天| 婷婷久久婷婷色五月| 国产色色色色| 婷婷色在线播放| 日韩啪啪视频| 亚洲色小说在线综合| 久99久视频精品| 婷婷六月丁香五月| 久久97| 风流少妇A片一区二区蜜桃| 人人操超踫| 日韩一级淫乱片一区二区三区| 亚洲色五月婷婷| 大香蕉久| 大香蕉啪啪网| 丁香五月婷久久| 综合激情五月婷婷| 亚洲综合另类| 桔色成人在线| 人人操日| 91在线观看九区| 97亚洲婷婷| 性色播| 农村熟妇高潮精品A片| 99视频只有这里精品| 色婷婷综合综合网| 风流少妇A片一区二区蜜桃| 天天色综网| 六月婷婷综合激情| 超碰在线免费观看日韩| 亚洲综合无码| 99这里有精品免费| 五月亭亭欧美女人| 北京熟妇搡BBBB搡BBBB| 日韩一级片| 午夜天堂啪啪| 激情婷婷五月| 欧美成人无码一区二区三区| 九九热狼人| www.91九色| 久操无码| 久草x色在线观看99 | 日本狠狠色| 日本色婷婷五月天成人电影| 超碰精品国产首页| 丁香五月综合| www.射伊蕉婷婷| 激情婷婷五月天伊人在线观看| 超碰人人操人人9| 色五月人妻| 婷婷情色激情| Se.婷婷五月天| 激情丁香五月| 青青青在线视频国产| 激情五月亚洲| 人人草成人视频| 99视频免费播放 | 天天色天天色天天色天天色天天色| www.日本91| 国产日产亚系列精品版优势| 久久丁香五月婷婷| av网站中文| 欧美在线看| 4399无码视频| 色婷婷久久| 久久色这里只有精品| 激情五月婷黄版| 亚洲超碰在线| 九九这里都是精品| 六月婷婷色五月| 婷婷终合色图| 伊人婷婷福利网| 91欧美| 欧美丁香婷婷五月天| 婷婷五月丁香六月伊人网| 九九www| 综合色色五月| 99ri在线视频| 五月婷婷啪啪网| 激情开心五月亚洲| 中文字幕+乱码+中文字幕在线观看| WWW·色色色·COM| 操逼综合激情网| 超碰在线99| 伊人久久大香线蕉av一区| 热久久99视频| www.激情.com.| 日本人人草草| 伊人大香蕉爱聚| 99热这里只| 五月丁香影视| 婷婷瑟瑟五月天| 亚洲色婷婷激情| 婷婷久热| 色色激情五月| 97碰成超视频免费视频| 女同在线9| 中文字幕网伦射乱中文| 九九性视频| 五月婷婷免费看| 丁香五月aV| 丁香五月激情宗合网| www超碰| 激情五月综合亚洲另类| 五月人妻婷婷视频| 亚洲综合干| 丁香五月婷婷深五月| 97色永久免费视频| 丁香六月婷婷综合啪啪| 91久久免费| 香蕉久久五月| 亚洲天堂色| 91chinese在线| 狠狠爱综合| 99热日| 五月花综合视频| 狠狠色五月| 日本精品。999| 性五月激情| 亚洲愉拍99热成人精品| 免费啪啪亚州视频| 色婷婷久久天天性爱| 激情婷婷视频在线| 婷婷日本色| 五月丁香另类网| 又大又粗九一在线| 亚洲成人影视在线| 婷婷丁香91综合| 国产黄大片在线观看画质优化| 婷婷五月成人| 可以免费观看的AV| 亚洲亚洲人成综合网络| 亚洲精品久久久久久久久久吃药| AA片在线观看视频在线播放| 夜夜操狠狠操| 97人妻碰碰中文无码久热丝袜| 色色色色色色色色综合网| 久久色婷婷| 五月欧美丁香在线观看| www.天天干| 久久综合五月天| 久久狼人天堂| 91大神操美女| 色射影院| 亚洲欧洲99| 六月99天天婷婷激情综合| 九九伊人网| 亚洲色色色色色色色色色| 97人人操人人爽| 中文无码婷婷| 四色永久成人网站| eeuus五月婷| 国产精品久久在线观看技巧| 这里只精品| 久久丁香五月婷婷激情综合网| 综合99在线| 成人久久天天x资源站| 五月花成人网| 99热这里只有在线| 婷婷激情图片| 91精品婷婷国产综合久久| 69精品人人人人| 色五月AV| 96精品成人无码A片观看金桔 | 五月婷婷说| 天天干天干| 五月婷婷婷丁香播| 国产成人网站在线观看| 久久久久9999| 婷婷丁香五月综合网| 一本久久婷婷| 青青草99热久久精品国| 六月丁香停| 91精品久久久久久77777| www,五月天com| 久久亚洲网| 久久五月婷婷开心网| 色色丁香激情五月| www.婷婷六月天| 五月天色色色色色| 五月婷婷中文字幕| 99re6在线视频精品免费| 婷婷丁香97| 亚洲1区| 六月婷婷啪啪| 成年人看Va免费视频| www.超碰| 婷婷黄色| 婷婷色导航| 影音先锋 萱萱| 五月婷婷六月丁香激情深爱| 九九自拍网| 婷婷婷久久| 天天草天天舔| 97婷婷色| 丁香五月天啪啪| 大香蕉欧美在线| 天天肏天天舔AV| 狠狠肏综合网| 婷婷操逼| 99色婷婷| 99ri在线| 九色七七| 激情五月婷| 激情玖玖综合网| 婷婷五月天.com| 色色婷| 久草五月天| 激情九九综合网| 99综合| 99操逼| 婷婷五月天AV在线| 97干在线看| 久久婷婷五月综合色和| 大香蕉久久综合网| 激情婷婷丁香色五月综合| 九九人人操| 婷婷综合网| 99热久草| 免费97碰碰| 青草五月天| 九九色黄色| 婷婷深爱五月丁香网| 搡BBBB搡BBB搡18 | 婷婷六月插屄激情| 双性美人被调教到喷水A片| 五月丁香综合网色欲| 少妇人妻凹凸视频| 搡BBBB搡BBB搡五十| WWW.夜夜操.com| 成人在线99| 激情四射五月天| 嫩草视频在线观看| 丁香五月色色| 中文字幕在线观看视频www| 中文字幕,综合,91| 久婷五月| 国产午夜精品一区二区| 亭亭玉月丁香| 激情图片99| 亚洲综合五月天| 丁香青青五月天| 色婷婷AV久久久久久久| 激情碰碰碰| 黄色激情五月天| 99视频啪啪| 丁香五月中文字幕久色| 大大香蕉综合在线| 99热这里只有精品3| 久久香视频| 亚洲狠狠干| 激情婷婷综合网| 天天干天天日天天操| 日韩有码久久| 99人妻碰碰碰久久久久视| 9l视频自拍九色9l视频在线观看| 婷婷五月综合色拍| 五月婷精品| 九九色精品| 久久久人妻不卡| 99精品在线观看| 深爱丁香网| 六月婷婷激情| 99秘 在线| 怎么样可以看免费的一级av| 五月天色婷婷伊人网| 婷久久高清| 久久这里只| 涩 五月 婷婷 狠狠| 天天舔天天摸| 伦乱天堂| 激情99| 五月天播播综合| 91无码色色| 丁香五月激情鲁| 中文字幕在线不卡视频| 色婷婷偷拍| 久99久视频| 久99视频| 伊人婷婷激情| 99re久热| 91免费看片| 99久久综合网| 色婷婷五月天| 精品色色网| 色婷婷久久9.com| 人人摸人人澡人人| 国产成人网址| 亚洲精品V天堂中文字幕| 狠狠色婷婷六月激情网| 婷婷五月丁香人妻无码高清| 日本在线视频播放91| 狠狠色婷婷| 国产精产国品一二三在观看 | 久久XX| 丁香六月激情综合| 五月婷网站| 婷婷综合一二三| 99久久九九| 国产色色网站网址| 色婷婷久久9.com| 人人干女人| 五月天激情综合网俺也去| 思思热在线| 日本成人噜噜| 91久久精品无码一区二区三区| 狠狠插狠狠插| 夜夜骑福利资源| 九九精品亚洲| 大香蕉久| 999影院成人在线影院| 五月天丁香欧美激情| 色情五月丁香| 99视频在线观看欧| 射久久丁香五月| 夜夜干 夜夜操| 免费观看的AV| 99日精品视频| 成人做爰A片免费看视频| 婷婷五月色網站| 国产1区2区3区| 欧美99| 无码网站视频| 97人人操人人爽| 国产又色又爽又黄又免费| 婷婷六月丁| 日本精品在线噜噜噜| 五月激情丁香啪啪| 超碰免费大香蕉| 天天日天天摸天天| 噜噜狠狠色综合久| 婷婷中文字幕| 激情丁香五月婷婷| 丁香激惜男女| 久久婷婷草| 五月丁香综合网| 伊人五月天婷婷| 欧美在线97| 国产真实乱对白精彩| 精品爆操| 噜色精品| 五月婷婷丁香大陆免费| 国产日韩精品SUV| 天天爽夜夜操| 丁香婷婷久久激情| 亚洲操B视频| 国产毛片精品一区二区色欲黄A片| 99在线小视频| 色播丁香五月婷婷操:屄| 成人VAV视频在线观看| 国产日韩欧美性爱| 狠狠干天天日| 五月青青草综合| 偷拍91九色| 亚洲A片成人无码久久精品青桔 | 大香蕉久久伊人婷婷五月丁香| 在线播放 精品| 成人日韩欧美| 色五月婷婷影院| 激情五月天久久丁香| 一区=区操屄高清大全av| 99精品视频免费观看| 怡红院视频| 丁香五月婷婷啪| 久久大香蕉伊人| 五月激情在线| 丁香五月综合激情啪啪| www.夜夜.com| 激情五月综合网| 四川操逼站| 国产成人精品亚洲线观看| 91碰碰视频在线观看| 亚洲天天操| 天天性视频| 狠狠色狠狠色综合日日91| 天天射影院| 人妻少妇色综合| 五月婷婷久久激情| 丁香五月婷婷超碰在线| 96精品国产综合久久久久久| 久久久天堂国产精品女人| 伊人婷婷色| 综合图区激情| 色色色在线免费视频| www一起操| 教师性爱毛片| 91超级碰| 欧美97色| 激情六月天婷婷| 国产性色蜜乳| 天天五月香欧美| 色七七九九| 99情色五月天| 国产午夜精品AV一区二区麻豆| 激情九月婷婷| 狠狠五月天| 极品人妻videosss人妻| 嫩草AV久久伊人妇女超级A| 综合色色五月| 婷婷丁香综合在线| 超碰激情网| 色色色婷婷| 婷婷久久图片| 亚洲精品一二三| 99久久网站| 久婷婷婷| jiZZdr| 婷婷五月天亚洲精品| 天天日天天干天天爱| 性色av大香综合| 色婷婷av综合网| 夫妇交换刺激做爰| 九月婷婷久久| 久热99| 亚洲啪啪网| 婷婷香五月天| 丁香六月婷婷姐网| 丁香八月综合激情| 欧美成性色| 亚洲啪视频| 色五月婷婷影院| 日韩操啪| 色亭亭丁香五月天| 曰韩五月丁香色婷婷无码| 国产精品18久久久| 99久久这里只有精品| www.99热视频| 久久电影4399| 激情深愛五月視頻| 色五月婷婷亚洲最大| 第四色婷婷五月| oumeisesewang| 九九综合视频在线观看| 激情久久久| 婷香五月| 亚州色婷婷| 激情99| 99啪啪网| 中文字幕丰满人妻无码专区| 五月开心久久| 大香蕉九九操| 97碰碰电影| 精品操逼一区二区| 亚洲a片免费观看| 在线五月婷| 99久久九九视频| 国产亚洲精品久久久久苍井松| 五月婷在线| 深爱五月婷婷| 亚洲成av人影院| 色综合久久久久| 99热这里| 九九久久99| 超碰99在线观看| www.色婷婷| 禁欲电影完整版在线播放| 色情综合网| 爱狠射| 99久久综合网| 狠狠色丁香| 国产免费AV网站| www久| 99久久综合| 99re8这里只有精品99re8热视频| 日本三级大片| 色色婷婷五月| 亚洲亚洲人成综合网络| 激情都市另类| 亞洲自怕| 九九中文色色| 毛v一区二区视频| Caop在线| 五月天成人综合| 色九月婷婷| 第二色AⅤ| 丁香六月激情毛片| 天堂综合久| 美欧日韩国产成人在战| 久99久在线| 色五月婷婷激情综合网| caobi四区| 夜夜夜叫天天天做| 深爱激情六月| 欧美乱码国产一级A片| 色情久久久| 97色色色色色| 成人片黄网站色大片免费毛片| 婷婷不干网| 国外亚洲成AV人片在线观看| 成人在线精品| 久久精品婷婷| 色久在| 综合xx网| 思思热99在线视频| 天天做天天爱天天爽| 超碰色综合| 激情欧美五月丁香| 欧美操我| 俺去也综合| 日韩精品无码AV| 婷婷五月花西瓜| 色婷婷五月综合色婷婷| 婷婷五月激情视频| 99国产精品久久久久久久久久久| 综合久久五月| 日韩色色视频| 色激情五月| 婷婷五月丁香欧洲| 欧美色宗和激情| 婷婷五月丁香在线视频| 热久久色| 亚州操操| 狼人久草| 天天干天天干天天| 五月婷婷av| 99热18| 91九九九色在| 91久久五月天| 婷婷久久久| 久久五月天黄色五月天色网址| www,99热| 五月丁香婷婷综合网| 少妇大叫太大太粗太爽了A片| 一区二区无码视频| 久久大香蕉同僚| 欧美天天五月丁香免费观看| 久久久久久久久久人妻| 九色婷婷| 亚洲第一成人无码A片| 国产真人做爰视频免费| 激情五月小说婷婷| 无码 av电影| 狠狠色狠狠爱| 久久中文人妻系列| 日本三级第一页| 99久久偷拍视频| 综合久久婷婷五月丁香| 久久激情网| 99久久国产宗和精品1上映| 噜噜操操| www久久艹| 狠狠搞五月天| 99热国产在线| 婷婷五月天av| WWW嗯嗯啊啊啊啊| 免费97碰碰| 五月婷高清视频| www.婷婷五月| 久久女婷| 色婷婷yy久| 99久久久久久| 久久五月综合| 天天综合色综合| 国产精品成人网站| 国产精品成人在线| 五月天婷婷青青| 激情婷婷激情在线不卡| 久久色9| 玖玖视频福利| 色色色五月天婷婷| 丁香五月亚洲无码| 91精品国产色猫| 日本九九九九| 婷婷成人丁香色情基地30| 色月丁| AAA久久久AAA久久久AAA| 色欲婷婷夜夜| 六月天婷婷| 精品一二三区久久AAA片| 亚洲狠狠婷婷| 六月丁香深深爱| 色爽九九| 色婷婷丁香花五月天| 91黄址| 欧洲免费视频色| 婷婷伊人网| 99视频在线播放大全| 国产精品18久久久| 激情五月天影院| 五月婷婷六月丁香| 另类视屏| 亚洲麻豆乱码国产2028| 成人在线日韩| 五月天伊人久久| 久久激情综合| 99综合一区| avh片在线观看| 激情宗合哪里能看| 天天干,夜夜爽| 九九色情网站| 婷婷综合网站| 精a品a| 久久人妻熟女一区二区| 欧美日本黄色| 六月丁香成人网| 97福利视频| 91综合色| 玖玖资源天天无码| 99人人干| 久久看婷婷| 激情五月亚洲| 99综合| 91九色熟女| 天天摸色吧天天摸色吧| 狠狠精品干练久久久无码中文字幕| 99热九九在线| 激情五月天色婷婷综合| 九九99精品| 综合网精品99| 色色五月天丁香| 天天综合天综合| 六月丁香基地| 噜噜久| www.婷婷五月天| 日日噜噜夜夜狠狠久久丁香六月| 久久深爱激情网| 激情五月婷婷五月丁香五月开心五月| 伊人婷婷青青cao| 玖玖婷婷色| 国产精品天天狠天天看| 91ncom.色| 思思热AV| 综合性视频99| 婷婷五月色播网| 亚洲色图81p| 欧洲综合一区| 五月丁香六月| 丁香五月婷久久| 五月天涩涩| 1024在线一区| 久久精品亚洲热| 97人妻碰碰碰久久| 亚洲综合网 665566| 丁香五月网站| 亚洲第一成人无码A片| 午夜爱爱爱成人| 伊人狠狠丁香婷婷综合尤物| 色9999综合久久| 欧美激情综合五月色丁香| 午夜色婷婷| 欧美色九| 色色色9 9 9| 天堂草在线观看| 人人操人人爱丁香五月| 丁香婷婷五月天校园春色| 91打屁股视频网站| 99热6精品| 久久久久久久综合狠狠综合| 男人的天堂婷婷色五月| 九色地址91视频| 99这里只有精品|v| 五月四色色| 91操在线观看| 亚洲六月婷婷| 婷婷五月精品在线| 免费成人中文字幕| 精品久久久人妻| 丁香丝袜五月| 久久婷婷五月综合伊人| 五月丁香啪| 妻久久人久久| 91色情播放| 成人.在线日韩| 婷婷五月天影视| 国产精产国品一二三在观看| 六月丁香五月激情亚洲AV| 日本色色色| 日本色色色| 另类图片色五月| 免费婷婷| 丁香五月天BBw| 天天做天天双| 色播五月丁香婷婷| 狠狠色狠狠干| www,五月天com| www.久久| 99久久精品国产色欲| 日日婷婷不卡| 五月丁香婷婷综合久久| 操操自拍| 丁香五月性爱| 天天草天天爱| 五月婷婷综合视频| 亚洲国产精品五月天| 99热综合| 丁香激情五月综合网| 婷色五月天| 五月综亚洲| 亚洲乱码日产精品BD| 99视频精品8 | 91制片厂久久久国产电影| www.亚洲激情| 亚洲欧美日韩另类| 久久婷婷五月| 大香蕉人人网| WWW.17C亚洲精品| 91色噜噜狠狠狠狠色综合| 久久人人超| 欧美操人| a网站免费观看| 五月人人丁香婷婷五月人人丁香| 五月天激情综合| 国产色色网站网址| 欧美顶级少妇做爰HD| 国产精品色一哟哟| 五月丁香婷婷激情爱爱| 五日激情综合| 狠狠爱五月婷婷| 日韩成人AV在线| 日韩无码专区| 久久视频在线视频| 9在线9在线婷婷在线国产| 六月激情婷婷综合| 成人精品在线| 久久婷婷综| 色色操| 99视频只有精品| 色视五月天婷婷| 性爱技巧五月| 99热色精品| 99久.| 99自拍视频在线| 五月丁香六月合| AV网址大全在| 国产精品日日躁夜夜躁| 色丁香五月婷婷在线| 久久婷婷成人视频| 99久久婷婷国产综合| 丁香社92视频| 人人操婷婷| 日本黄 色 片| 激情综合五月| 综合网亚洲| 九九精品99| 五月天激情久久| 婷婷 丁香 精品| 五月婷亚洲精品| 婷婷五月天欧美图片在线播放电驴| 丁香五月 综合| 91ncm视频| 日本色色网站| 日本99视频精品免费播放| 96精品国产综合久久久久久| 99操九九网| 婷婷无五月无码视频| 国产精品久久久久9999小说 | 五月婷丁香| 91碰碰碰久久久久| 67194成I人在线观看线路1| 婷婷五月 丁香六月| 五月激情婷婷丁香天堂| 九九99久久| 色色网站日本91| 色五月天堂| 久久最新色| 1024在线视频| 影音先锋91男人资源在线播放| 亚洲殴洲精品Av在线| 一区=区操屄高清大全av| 亚洲天堂AV综合网| 97超喷视频在线观看| 99在线看视频| 久久色亭亭五月天| 亚洲另类婷婷五月丁香在线播放| 婷婷99视频在线| 婷婷五月影院| 97五月天婷婷午夜| 五月丁香狠狠爱婷婷综合| 色热久| 婷婷丁香五另类网站| 91fuliwang| 综合五月婷婷| 天天成人丁香美女AV| 色色九九五月天| 婷婷激情图片| 九九精品在线观看视频6| 人人澡玖玖一| 国产精品天天狠天天看| 思思热视频在线| 丁香婷婷五月天校园春色| 91人妻九色大屁股| 色色丁香婷婷| 操逼在线视频| 婷婷午夜综合| 日本人妻伦在线中文字幕| 六月色婷婷| 五月婷婷综合激情| 久久婷婷夜| 午夜少妇在线观看视频| 日日杆天天| 九九热只有精品6| 色99无码| 色色婷五月天| 婷婷九月激情| 五月天婷婷激情六月久久| 99 热| 久久婷婷丁香| 日本三级第一页| 99r这里只有精品哦| 五月丁香亚洲校园欧美| 亚洲色频| 久久这里只有精品视频1| 久久精品99| 4399无码视频二区| 9久久精品| 一区二区三区四区无码| 99啪啪视频| 99ri6在线视频| 另类图片五月天| 婷婷九月丁香| 婷婷五月激情丁香激情| 亚洲综合在线播放| 色色综合网www| 丁香六月在线| 婷婷伊人网| 成人精品免费在线观看| 思思久久精品视频| 婷婷亚洲天堂| 日本97在线视频| 99愛国产| 亚洲日韩操B| 婷婷五月天成人动漫 | 天天日夜夜| 色亚洲无码| 8区视频在线| 男人天堂 久久| 99综合激情久久精品久久| 国产精品久久久久久久久久| 五月亭亭六月色| 丁香婷婷大香蕉| 99色色| 日日夜夜久| 另类婷婷五月天啪帕帕| 久久性爱网站| 国产毛片精品一区二区色欲黄A片| 天天综合久久| 99热日本| www.99久久久| 97人人看| 91色涩| 超碰日日操| 五月天婷婷情色| 久超超碰| WWW.色婷婷.COM| 亚洲va日| 五月婷在线影院| 九九激情| 综合色图婷婷| 日本色婷婷| 五月玖玖| 丁香婷婷基地| 噜噜噜精品欧美成人在线观看| 五月婷婷啪啪| 日本色久| 五月婷婷性爱视频| 色五月色综合| 色婷婷成人做爰A片免费看网站| 五月婷婷六月丁香综合| 色婷婷狠狠| 视色综合| 美女激情婷婷| 丁香六月天AV| 五月丁香激情综合| 国产成人AV在线播放| 日噜噜色| 婷久久高清| 亚洲亚洲人成综合网络| 久久性爱视频网站| 在线另类视频| 丁五月激情视频免费| 99久久综合| 激情九九综合网| 婷婷国产综合| 1024人妻| 五月丁香啪啪综合| 色射7856五月天激情四射| 久久婷婷青青| 国产精品久久久久9999小说 | 亚洲综合色网站| 欧美性爱五月天| 三十路磁力链接| 超碰人人在线观看| 99爱爱| 综合网天天| 日日色五月天| 婷婷在线日韩综合| 欧美婷婷精品激情| 99视频自拍| 激情com| 人妻av在线| 欧美成人日韩| 97自拍99| 色婷婷五月影视| 丁香六月婷婷久久亚洲天堂| 99热每日| 欧美性生交XXXXX无码小说 | 五月激情天| 亚洲天天操| 色婷婷丁香五月天在线视频| 亚洲狠狠爱婷婷| 亚洲精品大片| 99热欧美精品| 亚洲国产99| www.五月激情红色| 9伊人网| wwwss在线观看| 亚洲人人96@| 亚洲av电影在线| 婷婷五月丁香欧洲| 亚洲日韩人妻操逼| 国产综合A片| 五月香婷婷| 最新激情五月天| 伊人大蕉香| 五月婷色| 天天五月香欧美| 丁香婷婷影院| www.99热视频| 丁香婷婷啪啪啪| 激情视频综合| 色婷婷成人做爰A片免费看网站| 人草人人| www.色五月| 五月婷婷中文网| 国产激情久久| 激情五月天网页| 亚洲婷婷激情综合激情999精品| 婷婷成人五月天成人文学| 五月天综合缴情网网站0| 91狼友视频在线观看| 亚洲午夜av| 六月丁香婷婷色69| 五月天婷婷情色| 日韩无码性爱| 韩国97天堂| 四射综合网| 久久丁香九| 综合五月丁香97| 在线资源av-超碰中文在线-成人AV| 先锋资源91| 色五月天堂| 久久久WWW| 色五月综合网| 五月天国产成人| 人妻系列久久久久久久久久久 | 精a品a| 色色亚洲视频| 99热精品在线| 91色五月| 亚洲六月婷婷| 蜜桃人妻无码AV天堂三区| 日韩久久成人| 中文AⅤ大全| 久热精品在看| 91人人澡人人爽人人看| 婷婷五月丁香综合| 久久九九网| 亚洲成人在线播放| 青草性爱视频| 婷婷六月激情丁香| 五月情色天| 九月色婷婷综合| 色综合久久久久| 五月大香蕉| 色五月亚洲| 婷婷五月丁香激情图片| 九九99热| 亚洲第一成人无码A片| 色婷婷成人| 五月婷婷成人网首页| 激情婷婷丁香色五月| 五月丁香综合激情网| 五月婷婷中文字幕| 九九操操| 五月婷婷视频ab| 99噜噜噜在线播放| 久婷首页| 5月丁香美女影院| 六月婷婷中文字幕| 婷婷五月天激情网| 久久网思思| 九九热色视频| 超碰在线资源| 婷婷综合视频| 999激情视频| 精品爆操| 大香蕉手机视频| 成人免费120分钟啪啪| 天天视频精品9| 六月丁香婷婷综合狠狠爱夜夜爱| 性爱先锋AV| 五月天激情无码高清| 九九热这里只有精品6| 开心五月婷婷激情| 亚洲无AV在线中文字幕| 激情五月婷婷| 午夜天堂一区人妻| 综合激情四射一theav| 久久色天堂| 人妻久久做| 丁香婷婷综合激情五月色| 五月丁香六月婷| 亚欧州精品视频| 久热2025无码| 婷婷性爱| 天堂爱啪啪| 六月丁香啪| 丁香五月花| 激情五月五月婷婷| 亚洲婷婷久久综合| 国产婷婷五月天| 欧美性丁香色色五月天综合爱爱| 久/久精品99看9| AV色婷婷| 久久国产高清| 丁香五月婷婷高清| 伊人爱爱日本| 丰满老熟妇BBBBB搡BBB| 亚洲六月婷婷| 亚洲av综合网| 91免费看片| 婷婷5月九九| 日日操,天天操| 综合激情五月丁香| 欧美五月婷婷| 丁香五月天婷婷久久| 97干资源在线观看| 日日噜噜夜夜狠狠久久丁香六月| 99re26视频| 中文字幕综合网| 碰久久精品w|