欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

LLM并發(fā)訪問性能瓶頸定位與優(yōu)化:從指標(biāo)定義到實踐排查

LLM并發(fā)訪問性能瓶頸定位與優(yōu)化:從指標(biāo)定義到實踐排查 做LLM服務(wù)部署的人遲早都會撞上同一個問題單發(fā)請求的時候模型響應(yīng)又快又穩(wěn)一旦并發(fā)上來整個服務(wù)的表現(xiàn)就開始變得不可捉摸——有時候是吞吐上不去有時候是首字時延忽高忽低有時候干脆直接OOM崩潰。很多人第一反應(yīng)是“加GPU”或者“把并發(fā)參數(shù)調(diào)大”但如果不先把瓶頸定位清楚加卡和調(diào)參往往都只是在瞎猜。這篇文章把我這些年實際部署和排查LLM并發(fā)訪問性能問題用到的完整方法論拆開講從指標(biāo)定義、分層定位、壓測實操到常見故障速查給出一套可以直接復(fù)用的分析流程。內(nèi)容不挑框架不挑具體硬件核心思路是通用的適合正在做LLM服務(wù)落地、模型推理優(yōu)化或者平臺穩(wěn)定性保障的工程師參考。1. 先搞清楚并發(fā)場景下LLM服務(wù)到底慢在哪一層1.1 一個請求從進來到返回經(jīng)過哪些環(huán)節(jié)LLM服務(wù)的調(diào)用鏈路比普通Web服務(wù)長得多也復(fù)雜得多。一個請求從客戶端發(fā)出到最終返回完整回答至少要經(jīng)過這幾個環(huán)節(jié)網(wǎng)關(guān)和負(fù)載均衡層接收外部請求、做路由、限流、鑒權(quán)。這一層通常是普通的網(wǎng)絡(luò)服務(wù)單機扛幾千上萬個并發(fā)連接都沒問題但在高吞吐的LLM場景下網(wǎng)關(guān)的轉(zhuǎn)發(fā)延遲和排隊策略反而會成為第一個瓶頸。推理框架的調(diào)度層這是LLM服務(wù)特有的部分??蚣苁盏秸埱蠛笠獩Q定把它放在哪個worker上、什么時候放進Batch、排隊能容忍多久都由這一層負(fù)責(zé)。調(diào)度策略的好壞直接決定并發(fā)上限。模型推理引擎真正執(zhí)行模型計算的地方。一個請求的生命周期會拆成兩個階段——預(yù)填充prefill和逐Token生成decode兩個階段的計算特征完全不同瓶頸表現(xiàn)也完全不同。硬件資源層GPU扛著絕大部分計算CPU負(fù)責(zé)數(shù)據(jù)處理、結(jié)果采樣以及一部分與GPU通信的雜活內(nèi)存和顯存分別決定能放多少請求狀態(tài)和KV Cache。很多并發(fā)性能問題表面上看是“GPU不夠快”實際上瓶頸可能藏在第一層的排隊策略、第二層的調(diào)度邏輯、或者第四層的顯存分配上。這也是我一直強調(diào)的分析LLM并發(fā)瓶頸要按層次拆不要一上來就被GPU利用率數(shù)字牽著鼻子走。1.2 并發(fā)放大瓶頸的三種典型路徑并發(fā)本身不會制造問題它只會把原本存在的小問題放大成系統(tǒng)級故障。從實踐來看并發(fā)訪問下的性能劣化基本沿著三條路徑發(fā)生。路徑一是排隊效應(yīng)。服務(wù)端處理能力是固定的并發(fā)一旦超過處理上限請求就開始排隊。排隊帶來的不只是等待時間變長更麻煩的是尾時延爆炸——只要有幾個請求特別長整個系統(tǒng)的TP99和TP99.9都會變得很難看。很多時候并發(fā)上不去并不是計算能力不夠而是隊列管理策略不合理比如用了嚴(yán)格FIFO又沒有超時熔斷一個大請求把后續(xù)所有小請求都堵死。路徑二是資源爭搶。GPU的計算單元和顯存帶寬是共享的多個請求同時在跑必然要搶這些資源。LLM的decode階段本質(zhì)上是顯存帶寬密集型操作幾個長請求一起生成Token時帶寬會被迅速打滿這時候再增加并發(fā)每個請求的生成速度反而會一起掉下來。這種“越加越慢”的現(xiàn)象會讓很多人在指標(biāo)圖前懷疑人生。路徑三是框架和系統(tǒng)層的額外開銷。Python推理框架里的鎖競爭、請求級的內(nèi)存拷貝、CPU和GPU之間的同步等待、日志和指標(biāo)采集這些都是在并發(fā)上去之后會被顯著放大的開銷。我見過一個案例壓測到30并發(fā)時GPU利用率只有40%但CPU已經(jīng)跑到120%滿載最后發(fā)現(xiàn)瓶頸居然在框架里大量的JSON序列化和正則匹配上。這種問題加多少卡都沒用得先處理代碼層開銷。這三條路徑往往同時存在所以分析時要學(xué)會用組合指標(biāo)去拆而不是只盯著一兩個監(jiān)控圖下結(jié)論。下面先定指標(biāo)再講分層定位的實操方法。2. 指標(biāo)先行分析性能瓶頸前必須定的核心指標(biāo)2.1 吞吐與時延LLM場景的指標(biāo)口徑分析并發(fā)性能最忌諱的就是沒有統(tǒng)一指標(biāo)就開始調(diào)參。先說清楚LLM場景里幾個必須定義的指標(biāo)。吞吐TPS指系統(tǒng)每秒完成的請求數(shù)。很多人以為TPS等于并發(fā)數(shù)除以單請求耗時在普通Web服務(wù)里這個公式近似成立但在LLM服務(wù)里不成立——因為一個請求不是一次性算完的它會持續(xù)占用GPU資源幾十秒甚至幾分鐘。所以LLM服務(wù)更常用的口徑是“每塊GPU每秒生成的Token數(shù)”和“同時處理的請求數(shù)”前者反映系統(tǒng)的實際產(chǎn)出能力后者反映資源占用情況。這兩個指標(biāo)比單純的請求級TPS更能說明系統(tǒng)有沒有被有效利用。時延要拆成兩個來看。TTFT首Token時延是從請求發(fā)出到收到第一個Token的時間它主要由prefill階段和排隊延遲決定用戶感知最直接。TPOT每Token生成時間是相鄰兩個Token之間的間隔它決定首Token之后的生成速度也就是用戶看到的“打字機”節(jié)奏。單請求時TTFT可能只要200毫秒并發(fā)到50之后變成3秒這個變化趨勢比絕對值更值得關(guān)注。我給團隊定的基線經(jīng)驗是先壓出單請求時的TTFT和TPOT作為理論基準(zhǔn)然后以兩者不劣化超過50%為界限找到系統(tǒng)能承受的最大并發(fā)度。這個50%是經(jīng)驗值不同模型和硬件可以自己調(diào)整但一定要有一個量化標(biāo)準(zhǔn)否則你沒法判斷到底有沒有劣化、劣化了多少。2.2 并發(fā)度、隊列深度與飽和度除了吞吐和時延還有三個指標(biāo)容易被忽視并發(fā)度、隊列深度、飽和度。并發(fā)度指“同時在處理中”的請求數(shù)。注意它和QPS不是一回事QPS是每秒進來的請求數(shù)并發(fā)度是系統(tǒng)里正在跑的請求數(shù)。對LLM這種長耗時服務(wù)一個請求占著GPU資源幾十秒所以并發(fā)度的含義比QPS重要得多。系統(tǒng)里同時跑10個請求和100個請求GPU壓力和調(diào)度難度完全不同。隊列深度指排著隊還沒有開始處理的請求數(shù)。這個指標(biāo)是排隊效應(yīng)最直接的晴雨表。隊列深度持續(xù)增長且沒有回落趨勢說明系統(tǒng)的處理能力已經(jīng)到頂再壓下去只會徒增等待時間。飽和度指關(guān)鍵資源被用到的程度可以是GPU的計算單元占用率、顯存帶寬占比也可以是CPU某個核心的占用率。飽和度達到80%以上通常要警惕達到95%以上基本可以斷定該資源就是當(dāng)前瓶頸。我一直跟團隊說飽和度要找“第一滿”的資源因為系統(tǒng)里第一個被占滿的資源往往就是短板。2.3 指標(biāo)采集方案與壓測基線指標(biāo)定了怎么采也有講究。單機壓測階段建議至少采集四個層面的數(shù)據(jù)系統(tǒng)層CPU、內(nèi)存、磁盤IO、網(wǎng)絡(luò)連接數(shù)用系統(tǒng)自帶的監(jiān)控命令就能看注意區(qū)分空閑和等待兩種狀態(tài)。GPU層顯存占用、計算單元利用率、顯存帶寬利用率、溫度功耗用GPU廠商配套的監(jiān)控工具看。這里有個坑——顯存占用高不代表GPU在工作很多框架會把緩存占滿但計算單元利用率可能只有個位數(shù)??蚣軐优抨犝埱髷?shù)、正在處理的請求數(shù)、TTFT和TPOT的分位分布。這些通常要打開推理框架自帶的監(jiān)控接口才能拿到。應(yīng)用層業(yè)務(wù)自身的耗時日志、超時率、重試率。別小看這層很多時候問題已經(jīng)從服務(wù)端轉(zhuǎn)移到了客戶端比如客戶端超時設(shè)置太短導(dǎo)致大量重試把服務(wù)端活活壓垮。壓測基線建立也很重要。我一般先跑一個低并發(fā)基線比如1到2個并發(fā)得到單請求的最佳時延作為上限參考然后按2、5、10、20、50、100逐步加壓每個檔位穩(wěn)定跑3到5分鐘記錄穩(wěn)態(tài)指標(biāo)而不是毛刺峰值。壓測腳本里的請求內(nèi)容也要模擬真實場景混合不同輸入長度、混合短問答和長文生成因為純短請求和純長請求壓出來的結(jié)果差異非常大。2.4 組合指標(biāo)判別表快速定位瓶頸方向單個指標(biāo)說明不了問題指標(biāo)組合才能指向具體瓶頸。我把常見的組合和對應(yīng)結(jié)論整理成一張表排查時可以直接對照現(xiàn)象組合典型結(jié)論優(yōu)先排查方向GPU利用率高 顯存占用高 TTFT正常計算能力接近上限模型量化、精簡解碼邏輯、控制并發(fā)度GPU利用率低 顯存占用高 TPOT慢可能被緩存或調(diào)度卡住檢查KV Cache管理、批處理策略GPU利用率低 CPU利用率高瓶頸在預(yù)處理或框架開銷優(yōu)化數(shù)據(jù)處理、關(guān)掉多余日志TTFT暴漲 隊列深度持續(xù)增長處理速度跟不上請求速度降低目標(biāo)并發(fā)、優(yōu)化prefill批次TPOT正常 整體吞吐上不去調(diào)度層沒把請求喂飽檢查批大小上限、調(diào)度策略顯存沒滿但OOM顯存碎片化或預(yù)留不足開啟顯存整理、調(diào)整緩存上限這張表不絕對但能幫你在拿到一堆監(jiān)控圖之后快速圈定排查范圍少走彎路。接下來要做的就是沿著分層思路把瓶頸精確定位到某一個環(huán)節(jié)。3. 分層拆解從客戶端到GPU的瓶頸定位法3.1 入口網(wǎng)關(guān)與請求排隊最容易忽略的第一道關(guān)卡很多人排查LLM性能瓶頸時直接盯著GPU結(jié)果在網(wǎng)關(guān)層栽了跟頭。我印象很深的一次壓測時發(fā)現(xiàn)并發(fā)一高TTFT就開始猛漲GPU利用率卻不到30%查了一圈發(fā)現(xiàn)是負(fù)載均衡策略出了問題新進來的請求被輪詢發(fā)到多個worker上但每個worker自身的隊列已經(jīng)堆積了很多請求新請求只能排在隊尾等著。網(wǎng)關(guān)層的排查重點有三個一是負(fù)載均衡策略是不是按worker的實際負(fù)載來分發(fā)而不是簡單的輪詢二是隊列是不是無界隊列無界隊列在大流量下會無限堆積最終拖垮整個服務(wù)三是限流和熔斷有沒有生效沒有限流的話上游突發(fā)流量會直接擊穿服務(wù)。解決辦法也比較直接把負(fù)載均衡改成按隊列深度加權(quán)分發(fā)給隊列設(shè)置上限隊列滿了就直接返回過載響應(yīng)讓客戶端走重試策略。這里還要提醒一句網(wǎng)關(guān)層的連接數(shù)、線程池大小、超時時間都是配套的調(diào)了負(fù)載均衡策略但沒調(diào)超時時間可能會導(dǎo)致客戶端等不到結(jié)果就重試反而放大流量。3.2 框架調(diào)度與批處理策略連續(xù)批處理為什么是核心LLM推理框架的調(diào)度層最關(guān)鍵的機制是批處理策略尤其是連續(xù)批處理continuous batching。傳統(tǒng)做法是等一批請求全部結(jié)束再一起釋放這種靜態(tài)批處理在并發(fā)場景下效率很低——一批里只要有一個長請求其他短請求都得陪著等。連續(xù)批處理的核心思路是批次不固定只要某個請求生成完了就把它移出批次馬上補一個新請求進來。這樣GPU的計算單元始終有活干吞吐能提升不少。如果框架的批處理機制沒生效你會發(fā)現(xiàn)一個很典型的癥狀GPU計算單元利用率有波動但吞吐一直上不去而且請求越長整體吞吐越低。排查時要確認(rèn)三件事框架版本是否開啟了連續(xù)批處理批大小上限是否足夠大很多框架默認(rèn)批上限偏保守請求長度是否差異極大導(dǎo)致批次碎片化。批大小上限設(shè)置我要多說一句不是越大越好。批大小增大確實能提高GPU利用率但也會讓KV Cache占用快速增長而且一旦某個請求特別長它會拖住整個批次反而把TPOT拉長。調(diào)度策略里的另一個關(guān)鍵點是prefill和decode是否混跑。有些框架會把prefill和decode分開處理因為兩者計算特征差異很大prefill是計算密集decode是帶寬密集。分離調(diào)度能避免兩類請求互相干擾但實現(xiàn)復(fù)雜度高。如果框架支持這個選項值得開起來對比壓測一下很多時候能顯著改善長尾時延。3.3 推理引擎與算子熱點prefill和decode要分開看到了推理引擎這一層就必須要理解prefill和decode的本質(zhì)差異。prefill階段要把用戶的整個輸入一次性喂給模型計算量很大但對延遲的影響是線性的decode階段則是每次都只生成一個Token需要反復(fù)讀取模型參數(shù)計算量不大但受顯存帶寬限制嚴(yán)重。用GPU廠商提供的性能分析工具抓算子熱點時你會發(fā)現(xiàn)prefill階段的熱點集中在矩陣乘法算子bound在計算單元上decode階段的耗時大頭反而在線性層的小矩陣運算上因為每次計算的數(shù)據(jù)量很小但需要頻繁訪問顯存中的參數(shù)量和中間量。拿到算子級別的耗時分布之后優(yōu)化方向就清楚了prefill快就走量化或者精簡模型結(jié)構(gòu)decode慢就走算子融合、減少中間張量讀寫、或者用更高效的解碼實現(xiàn)。還有一個很容易忽略的點采樣和后處理算子。有些框架在每次decode之后要做logits處理、采樣、解碼標(biāo)記等操作這些在單請求時看不出來并發(fā)高了之后如果采樣邏輯寫得低效CPU端會成為瓶頸。用性能分析器如果抓到很多時間花在采樣相關(guān)算子可以考慮換更高效的采樣實現(xiàn)或者把采樣移到GPU上做。3.4 顯存與KV Cache并發(fā)越高越緊張的一塊資源LLM并發(fā)服務(wù)里顯存管理是重中之重而大頭就在KV Cache。KV Cache是用來緩存歷史Token的注意力鍵值對的它的大小和請求的上下文長度、并發(fā)度直接相關(guān)。直觀理解就是每個請求在生成過程中都要把已經(jīng)看過的內(nèi)容記下來并發(fā)請求越多、上下文越長占用的顯存就越大。顯存層面的瓶頸有兩個常見表現(xiàn)。一是KV Cache上限設(shè)得太小導(dǎo)致框架頻繁把歷史上下文丟掉或者強制截斷模型回答質(zhì)量下降不說還會觸發(fā)重新計算性能雪崩。二是顯存碎片化嚴(yán)重多個請求不斷進出KV Cache的內(nèi)存塊被拆得七零八落明明剩余總量夠但就是分不出連續(xù)的大塊來于是報OOM。解決碎片化問題的思路是采用分頁式緩存管理把KV Cache切成固定大小的塊按需分配或者定期做顯存整理、重啟回收。排查顯存瓶頸時不要只看“顯存占用率”這一張圖要看框架暴露的緩存命中率、緩存重算率、以及請求級的顯存分配日志。緩存重算率一旦超過5%基本可以斷定KV Cache管理有問題需要調(diào)緩存策略或者換框架版本。另外長上下文請求對顯存的放大效應(yīng)也要提前評估別拿平均長度去預(yù)估容量要拿P95甚至P99的長度算否則并發(fā)稍高就會被長請求打爆顯存。3.5 CPU-GPU協(xié)作與通信開銷多卡場景更容易踩坑當(dāng)模型被切到多塊GPU上做并行推理時通信開銷會成為新的瓶頸來源。GPU之間的數(shù)據(jù)交換走高速互連每傳輸一次張量都有固定的延遲和帶寬成本。并發(fā)上來之后多個請求同時觸發(fā)通信互連帶寬會被迅速打滿各卡的計算單元反而在空轉(zhuǎn)等待數(shù)據(jù)。排查多卡通信瓶頸主要看兩個數(shù)據(jù)單卡在執(zhí)行計算等待通信的時間占比以及互連鏈路的帶寬占用率。如果算力等待通信的時間占比超過30%就要考慮減少通信次數(shù)——比如把需要頻繁交換的層合并成更大的通信塊或者調(diào)整并行切分方式。這里有個代價權(quán)衡并行度切得越細(xì)單卡顯存壓力越小但通信開銷越大。實際部署中并行度不是越高越好要拿同一條壓測曲線對比不同并行度下的吞吐和時延找到交叉點。對于7B級別模型很多時候單卡就能跑強行切多卡反而得不償失只有模型大到單卡放不下或者單卡算力不足時多卡并行才有意義。4. 實操記錄一次典型的并發(fā)性能劣化排查過程4.1 壓測環(huán)境與腳本準(zhǔn)備光講方法論有點虛我拿一個實際發(fā)生過的排查案例來走一遍完整流程。模擬項目X的背景是某個內(nèi)部知識庫問答服務(wù)接入了LLM單塊數(shù)據(jù)中心級GPU部署模型是7B規(guī)模的對話模型推理框架用的是某開源推理框架最大上下文長度設(shè)置為8K。業(yè)務(wù)方抱怨白天高峰期經(jīng)常出現(xiàn)“轉(zhuǎn)圈很久才出第一個字”偶爾直接返回錯誤。第一步先搭壓測環(huán)境。壓測工具選用開源壓測工具腳本里模擬了三種請求短問答輸入50個字輸出200個字、中等問答輸入500個字輸出500個字、長文總結(jié)輸入2000個字輸出800個字比例按真實流量設(shè)為3:4:3。并發(fā)梯度設(shè)為1、5、10、20、30、50每個檔位穩(wěn)定壓5分鐘記錄指標(biāo)。壓測之前我特意做了件小事把框架的詳細(xì)訪問日志打開記錄每次請求的到達時間、排隊開始時間、prefill開始時間、decode開始時間和結(jié)束時間。實踐證明這個舉動價值巨大后面幾乎所有排查結(jié)論都是從這些時間點里算出來的。4.2 第一輪QPS上不去先看是不是GPU真的滿了低并發(fā)基線先跑出來的數(shù)據(jù)并發(fā)1時TTFT約180毫秒TPOT約35毫秒也就是每秒大約28個Token這個數(shù)字符合7B模型在這張卡上的正常水平。并發(fā)加到5一切正常TTFT略漲到220毫秒吞吐在漲。并發(fā)加到10奇怪的事情出現(xiàn)了QPS幾乎不再增長穩(wěn)定在每秒鐘完成3到4個請求左右TPOT從35毫秒漲到了48毫秒但GPU計算單元利用率只有55%左右。這就出現(xiàn)了我之前說的“GPU沒滿但性能上不去”的典型情況。按組合指標(biāo)判別表方向鎖定在框架調(diào)度層。進一步看框架日志里的時間點發(fā)現(xiàn)請求從到達開始到真正進入批次平均等待了1.8秒排隊時間比prefill時間還長。原因很快浮出水面框架默認(rèn)的最大批大小是32但decode階段的批次實際上一直沒有填滿因為請求長度差異大很多短請求早就結(jié)束批次里面剩下的都是長請求新請求補充不進來。這是我第一輪得到的結(jié)論瓶頸在連續(xù)批處理的填充效率不在GPU算力。4.3 第二輪提高并發(fā)后顯存OOM問題在KV Cache把批大小上限從32調(diào)到64同時打開框架的連續(xù)批處理開關(guān)重新壓測。這次QPS確實漲了從3.5到了一定水平但并發(fā)加到20的時候直接出現(xiàn)了顯存OOM整個worker重啟線上服務(wù)斷了十幾秒。查看顯存監(jiān)控記錄發(fā)現(xiàn)進程退出前顯存占用率只有75%不是滿了才崩的而是分配KV Cache時找不到連續(xù)的大塊顯存。這就是典型的顯存碎片化問題。解決方法是調(diào)整框架的緩存策略把KV Cache改成按固定塊分配同時限制單個請求的最大上下文長度避免個別長請求一次性申請超大塊顯存。調(diào)完之后并發(fā)20下OOM消失顯存使用穩(wěn)定在85%左右。這輪排查的教訓(xùn)是OOM不一定等于顯存總量不夠很可能是分配策略的問題。遇到OOM先別急著加顯存先看框架日志里申請的大小和位置再決定是調(diào)整緩存策略、限制上下文長度還是真需要升級硬件。4.4 第三輪單請求正常但并發(fā)后TTFT抖動劇烈OOM解決之后繼續(xù)加壓并發(fā)到30時出現(xiàn)了新的癥狀TTFT的中位數(shù)還算穩(wěn)定但TP99從300毫秒直接飆到5秒以上而且抖動劇烈忽快忽慢。GPU計算單元利用率還是沒到80%看起來不像算力瓶頸。把請求時間點日志拉出來按階段聚合發(fā)現(xiàn)抖動集中在prefill階段當(dāng)一批請求里同時進來幾個長文總結(jié)請求時prefill批次的計算量瞬間暴漲把后續(xù)請求的prefill都堵住了。推理框架默認(rèn)把同一時間到達的請求放進一個批次做prefill如果這批請求都是長輸入就產(chǎn)生了“長請求堵短請求”的問題。解決辦法是開啟框架的prefill和decode分離調(diào)度選項prefill請求攢夠一定數(shù)量才啟動避免一個大prefill批次卡住所有decode請求同時設(shè)置prefill批次的輸入token總量上限超過就拆分。調(diào)整之后并發(fā)30下TTFT的TP99從5秒降回到1.2秒抖動明顯改善。4.5 定位結(jié)論與優(yōu)化落地把三輪排查的結(jié)論匯總下來第一輪發(fā)現(xiàn)連續(xù)批處理填充低效第二輪發(fā)現(xiàn)KV Cache碎片化第三輪發(fā)現(xiàn)prefill和decode互相干擾。這三個問題都不是“GPU不夠快”而是框架調(diào)度和顯存管理的配置問題。最終優(yōu)化方案總共四項打開連續(xù)批處理批大小上限調(diào)到64。KV Cache改為塊級分配并設(shè)置上限限制單請求最大上下文。開啟prefill/decode分離調(diào)度限制prefill批次的總輸入量。網(wǎng)關(guān)層加隊列上限和超時熔斷防止上游突發(fā)流量把框架壓垮。優(yōu)化后重新壓測并發(fā)50時QPS比初始版本提升了約2.6倍TP99時延從5秒下降到1.4秒GPU計算單元利用率從55%提升到接近80%。整個過程沒有換硬件沒有改模型純靠定位分析就把性能挖出一大截。這個案例可以說明一件事LLM并發(fā)性能問題的根因絕大多數(shù)時候不在模型本身而在模型周圍的調(diào)度和資源管理。5. 高頻問題與排查技巧速查5.1 并發(fā)上去了吞吐反而下降這是LLM服務(wù)最經(jīng)典的反直覺現(xiàn)象。核心原因通常是decode階段的顯存帶寬被打滿所有請求同時在讀模型參數(shù)帶寬分不過來每個請求的生成速度都下降。排查時先看GPU帶寬利用率再看TPOT是不是隨并發(fā)同步上漲。如果是帶寬問題方向是降低并發(fā)上限、用量化模型減小每次讀取的數(shù)據(jù)量、或者優(yōu)化算子減少重復(fù)讀參。也有可能是批處理策略導(dǎo)致的靜態(tài)批處理下批次里一旦有長請求整個批次釋放慢新請求遲遲進不來宏觀表現(xiàn)就是并發(fā)越高吞吐反而下降。這時候要果斷確認(rèn)連續(xù)批處理是否真的在生效。5.2 顯存沒滿但報OOM顯存總量剩余很多卻報OOM九成是碎片化問題一成是框架內(nèi)存池管理Bug。解決問題的第一步永遠是看框架日志OOM時申請的內(nèi)存塊多大、最大可用連續(xù)塊多大。如果是碎片化就改用塊級緩存分配方式或者定時做顯存整理。另外大批量KV Cache申請和釋放是碎片產(chǎn)生的根源限制單請求上下文長度能在源頭減少超大的連續(xù)申請。5.3 Token生成速度遠低于預(yù)期單個請求TPOT明顯慢于理論值時先別懷疑GPU型號不行。按經(jīng)驗順序排查是不是模型量化位寬太高導(dǎo)致解碼效率低是不是采樣階段做了太多CPU和GPU之間的同步是不是框架在decode階段插了額外的安全檢查或日志操作是不是其他請求在共享GPU帶寬用GPU監(jiān)控工具確認(rèn)一下即可。從實踐看TPOT異常多數(shù)是同步和調(diào)度問題并非真正的算力問題。5.4 時延分布長尾嚴(yán)重TP99和TP50差距懸殊說明存在少數(shù)請求被拖住的“堵車”現(xiàn)象。最常駐的三類原因一類是長輸入請求占據(jù)了prefill批次后續(xù)短請求被迫等待一類是請求排隊位置靠后趕上系統(tǒng)微突發(fā)排隊時間過長還有一類是個別慢請求觸發(fā)了超時重試重試流量又疊加進系統(tǒng)。定位方法就是分階段統(tǒng)計時延分布看漂移出長尾的到底是排隊、prefill還是decode階段然后對癥下藥。5.5 多卡擴展后性能不升反降多卡并行不是免費的午餐。模型切分粒度太細(xì)、通信次數(shù)太多、或者互連帶寬本身不夠都會導(dǎo)致每加一張卡通信開銷吃掉的收益比加卡帶來的算力增量還多。排查時重點看通信時間占比和互連鏈路帶寬占用率。我見過不少案例是模型不大但強行把并行度拉滿結(jié)果性能比單卡還差。這里的經(jīng)驗是模型能在單卡放下且算力夠用就不要切多卡必須多卡時對比不同并行度下的實際壓測數(shù)據(jù)再做決定。5.6 排查工具清單與日常監(jiān)控建議最后整理一份我常用的排查工具清單按用途分類列一下系統(tǒng)層監(jiān)控操作系統(tǒng)自帶性能監(jiān)控命令重點看CPU的user、system、wait三類時間占比。GPU層監(jiān)控GPU廠商監(jiān)控工具重點采集計算單元利用率、顯存占用、帶寬利用率、溫度功耗。進程級分析系統(tǒng)自帶的進程追蹤工具排查CPU綁定和上下文切換開銷。算子級分析GPU廠商性能分析套件和推理框架自帶的性能分析器生成算子耗時火焰圖??蚣苤笜?biāo)接口推理框架自帶的監(jiān)控接口采集排隊數(shù)、處理中請求數(shù)、TTFT/TPOT分布、KV Cache使用率。日常監(jiān)控我建議至少保留這五塊看板QPS和并發(fā)度、TTFT和TPOT的中位數(shù)/TP99、排隊深度、GPU利用率與帶寬利用率、KV Cache和顯存使用率。不要貪多五塊看板配合告警閾值足夠覆蓋90%的并發(fā)性能問題。告警閾值可以參考前文說的基線方法以單請求最優(yōu)值的1.5倍作為告警線持續(xù)超過3分鐘就觸發(fā)排查。結(jié)尾說實話分析LLM并發(fā)訪問性能瓶頸這件事真正難的不是用什么高級工具而是有沒有一套清晰的拆解思路。我踩過不少坑之后最大的體會是永遠先量化再優(yōu)化先分層再定位先解決調(diào)度和顯存問題再考慮換硬件。很多團隊一遇到并發(fā)性能差就申請加卡結(jié)果加完發(fā)現(xiàn)GPU利用率還是上不去錢白花了。如果你現(xiàn)在正被類似問題困擾建議先花半天時間把框架訪問日志打開、把各項指標(biāo)壓測基線跑出來再對照這篇文章的排查流程走一遍。最后再分享一個小技巧每次壓測之后把結(jié)論寫成一段話存檔標(biāo)上“現(xiàn)象-根因-改動-效果”積累一段時間之后你會發(fā)現(xiàn)自己判斷瓶頸的速度越來越快很多問題看一眼監(jiān)控圖就知道出在哪一層了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香视频| 再綫Av免费視品| 婷婷六月成人| 日韩精品AV一区二区三区| 国产精品视频| 六月婷婷九月丁香亚洲综合| 婷婷六月久久| 亚洲性爱干干| 婷婷香香五月| yellow视频在线观看91| 午夜日韩久久久网站| 中文字幕婷婷9月天| 天天色综网| 五月丁香五月综合欧美| 综合婷婷五月丁香在线观看| 色色婷婷综合网| 久热这里只有精品6官网亚洲| 色99婷婷五月天| 一本色道久久综合狠狠躁一二三| 99国产精品久久久久久久久久久| 五月丁香激情综合| 99热这里只有精品66| 五月婷激情影院| 桔色成人在线| www久热com| 国产Va视频| 五月丁香婷婷综合网| 久久超级碰视频| 婷婷字幕在线| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 超碰在线日夜| 激情内射人妻1区2区3区| 九九av| 婷婷狠狠操| 17.c黄色| 激情综合色婷婷啪啪六月天| 激情黄色小说五月天| 日本天天综合| 91热er| 激情五月天婷婷图| 综合婷婷| 天天艹天天综合网| 99久久免费性爱视频`| 天天射天天干天插色综合| 日韩视频女神99| 91主播在线| 一二线视频 另类| 婷婷久久久| 婷婷婷婷色| 性欧美日本| 99热| 日本一级| AAA久久| 久久99综合网| 99婷婷国产最新视频| 狠狠色成人影片| 五月丁香六月婷婷国产视频| 开心激情综合| 五月丁香在线| 亚洲无码成人| 91超级碰| 99热综合| 欧美成人精品三区综合A片| 综合网激情| 99啪啪| 九九黄色网| 久操无码| 九九热99热| 精品人妻一区二区三区四区不卡在| 大香蕉伊人99| 狠狠色狠狠操| 91五月天| 国产精品天天狠天天看| 丁香婷婷AV| 人五月天婷婷喷水| 五月天婷婷丁香人人操91| 一级视频网址| 色五月综合97| 婷婷五月天综合久久| 五月激情射| 98色花堂98t.R| 色婷婷影| 97人人操| 这里只有精品偷拍| 色综合色综合色综合高潮| 久久人妻爱爱| 开心五月深爱五月婷| WWW.开心五月天.COM| 婷婷五月天人妻| 五月婷综合网| 丁香五月天堂| 九九亚洲综合| 五月天开心网| 久久小说网| 狠狠爱青青草| 色婷婷啪啪| 亚洲成片在线观看| 久99在线视频| 激情宗合哪里能看| 色婷婷五月天激情综合| 亚洲精品激情| 色婷婷国产精品综合在线观看| 国产9色在线/日韩| 久9视频| 成人精品视频99在线观看免费| 人妻丰满精品一区二区A片| 国产肥白大熟妇BBBB视频| 97日本在线播放| 依人大香蕉在钱1| 天天色五月婷婷91久久久久久久| 久99热在线观看| 天天搡日日搡aaaaⅩ| 色婷婷久久| 日日天天天| 婷婷 激情 五月| 亚洲色色色色| 婷婷五月在线视频| 人妻久久久久久久| 色爆五月| 99婷婷五月天激情| 久操热| 日日日日做夜夜夜夜无码| 五月天综合区| 99热思思| 日日噜噜夜夜狠狠久久丁香六月| 成人综合视频网址| 99人人精品| 丁香五月香蕉| 欧美色播综合在线观看| 激情五月丁香六月| 9久久精品| 色婷婷av在线观看| 熟妇天天综合| 亚洲av日韩无码| 五月婷丁香| 五月激激网w'w'w| 99re这里只有精品在线观看| 99热免费| 91丨九色丨东北熟女| 操大屄五月天视频| 欧美色宗和激情| 婷婷五月色花丁香社区| 天天做天天摸| 超碰成人免费| 婷婷色五月大香蕉在线| 99丁香五月婷| 婷婷丁香五另类网站| 色婷婷基地| 丁香五月狠狠综合欧美| 俺去也婷婷| 丁香五月婷久久| 国产精品18久久久| 激情五月天啪啪| 天天搞夜夜叫| 五月激情六月综合| 婷婷五月激情网| 天堂呦 呦百度搜索-百度搜索| 亚洲成片在线观看| 色黑鬼导航| 色5月婷婷| 日本久久精品18| 亭亭玉月丁香| 国产精品A片在线| 久热综合| 天天日天天日天天搞| 六月撸婷婷| 五月丁香啪啪网| 色婷婷yy久| 国产五月天婷婷| 丁香五月成人论坛| 久9视频免费播放| 五月天偷拍| 大香蕉婷婷婷| 少妇激情基地| 天天天操天天天日| 极品人妻VideOssS人妻| 色欲色香综合网站| 五月花综合网| 激情五月天小说网| 国产精品99久久久久久久女警| 日本9区视频| 久久作爱| 婷婷五月天美女视频| 亚洲av网站在线观看| 国外亚洲成AV人片在线观看| 91精品久久久久久久久| 丁香五月激情六月综合| 五月婷婷影院| 97luluse| 精品视频这里只有精品| 九九婷婷网五月天| 色色色五月婷婷| 五月天激情日色在线| 成人噜噜网| 五月激情婷婷开心| 九九热在线视频| 五月婷婷亚洲综合在线 | 99热在线看| www久久五月com| 婷婷五月天精品| 天天插天天插| 99久久精品国产色欲| 久久婷婷五月综合激情国产| 色~性~乱~伦~噜| 久热99中文字幕| 国产超碰在线| 丁香五月婷婷六月丁香| 日韩久久成人| 99色在线观看免费| 五月狠狠| 丁香婷婷影院| 国产阿姨日皮艹逼内射视频| 9久久久久久久久久久| tingtingcaobi| 丁香五月综合| 婷婷色六月| 国产AV一区二区三区最新精品 | 国产精品在线视频| 色五月丁香六月婷婷| 五月丁香成人网| 天堂在线婷婷| 五月丁香婷婷激情在线| 日韩视频99| 97操在线资源| 五月丁花色综合网| 色色a| 综合久久久婷| www,婷婷五月天,com| 久久97| 亚洲无码激情| 婷婷丁香激情五月天色色| 五月天另类小说| 色婷婷综合在线| 亚洲五月天综合| 五月婷婷久久大香蕉| AV在线免费观看不卡| xxxx五月激情| 九九热欧美| 婷婷色色丁香| 日日操日日爽| 狠狠精品干练久久久无码中文字幕 | 色情久久久| 成 人 色 色| 爱射综合| 婷婷五月丁香五月| 色九月婷婷丁香| 91欧美| 色色五月综合| 激情综合五月色丁香婷婷| 久热久| 久9热在线视频| 婷婷六月五月天综合| 高清一区二区三区日本久| 丁香大香蕉| 婷婷五月六月| 精品久9| 激情精品久久| 丁香五月播播| 亚洲午夜视频| 婷婷狠狠97| 五月丁香 狠狠爱| 天天日日天天| 欧美在线视频99| 丁香六月久久| 天天综合五月| 在线超碰91| 五月草影视| h在线看免费版在线看| 婷婷操逼| 九热...av| 激情五月天第四色| 久久婷婷综合五月趴| 久久无码成人| 日本成人噜噜噜噜噜| 色婷婷五月综合| 丁香五月婷婷激情网| 婷婷五月天综合网| 9热在线视频| 狠狠色噜噜狠狠| 丁香香蕉射射射| 久久99热只有精品| 能看的av网站| 欧韩性爱| 99热综合| 久久这里这里有精品免费视频| 婷婷综合色| www.婷婷,com| 日本九九视频| 欧美日韩国产一区| www.91在线观看| 五月天另类图片区99| 激情五月天激情小说| 婷婷久久爱| 激情小说之五月| 国产69精品久久久久999小说| 成人精品一区二区三区四区五区 | 国产毛片精品一区二区色欲黄A片| 婷婷综合| 久久五月天综合| 婷婷六月色开| 99黄色性生活| 夜夜夜天天操| 热九九精品| AV网址大全在| 五月综合六月婷婷| 99五丁香月| 久热精品视频| 91免费试看| 日日日日操| 99视频热99| 婷婷五月天激情AV影院| 久久99大| 第四色首页| 99久久婷婷综合| 亚洲经典小视频| 久久六月婷婷| 有哪些A片网站| 99惹 精品在线| 99色最新在线视频网站| 国产第99页| AV性爱在线| 一婬一伦一区二区三区| 欧美影院| 久久9久| 婷婷啪啪| 五月天色婷婷激情综合| 久久综合99| 亚洲色激婷| 无码人妻精品一区二区蜜桃色欲| 99re26视频| αv中文字幕在线观| 激情综合五月色丁香婷婷 | 五月开心激情网| 国内精品99| 激情五月深爱婷婷| 丁香视频| 另类A片| 91精品久久久久久综合五月天| 天天天干夜夜夜操| 欧美综合激情五月丁香| 亚洲狠狠爱婷婷| 人妻精品久久久久久久| 色很久综合| 亚洲综合五月天婷婷丁香| 久久婷婷五月综合一| 五月天成人综合| 99ER热精品视频| 久久机热这里只有 | 五月五月婷婷| 午夜成人AV在线| 久热九九| 无码激情AAAAA片-区区| 五月丁香基地| 在线超碰91| 黄色片区子| site:hcxsz888.com| 2018国产大陆天天弄| 欧洲高清免费久久| 九月av在线| 天天搡日日搡aaaaⅩ| 五月天婷婷色| 欧洲MV日韩MV国产| 天天草天天摸| 91黄操| 五月婷在线| 五月色 亚洲| ztEJj| 天天日综合| 天天插天天射天天干| 亚洲天堂99| 深情六月婷婷综合久久| 亚洲欧洲美女在线观| 激情五月婷婷在线观看| 久久综合中文| 人妻丰满精品一区二区A片| 久久机热这里只有精品| 日韩黄色电影| 99色色网| 五月婷婷丁香在线视频| www.久久久久久| 久久97| 丁香五月狠狠综合欧美| 亚洲欧美国产A片免费观看| 婷婷丁香六月激情综合| 9热在线视频| 中文字幕在线免费观看视频| 五月婷婷丁香大陆免费| 日本三级色| 国产色网站| 激情丁香婷婷六月天| 五月丁香婷婷欧美色图视频五月丁香777电影 | 久久这里只| 婷婷爱爱蜜臀天天操| 五月天婷婷色| 婷婷六月色播| 激情六月丁香| 97热91| 五月婷婷av| 五月婷婷基地| 欧美在线ee日韩| 婷婷午夜综合| 丁香婷婷免费| 狠狠久综合| 人妻内射视频| 丁香婷婷色五月合集| 九九热婷婷| 思思热在线观看| 婷婷五月丁香综合人妻| 色五月天丁香| 天堂久久久久天堂网| 一区二区免费看| 婷婷五月天777| 青青草99re| 超碰操网| 中文字幕色色色| 99热在线精品观看| 国产五月视频| 91丨九色丨丰满人妖| 久久6这里只有精品| 操b视频在线观看一区二区| 成人亚洲精品| 久久草大香蕉| 超碰免费人人肏| 啪啪激情网| 五月丁香成人版| 日韩黄色网络| 在线看九一V图片| 在线观看av网站| 激情五月亚洲综合网| 九九av在线| 丰满女老板BD高清A片| 五月天亚洲综合网| 五月婷高清视频| 久久精品女人天堂AAA| www色色色com| 五月花婷婷| 五月天婷综合网站| 99热热热国产超碰| 少妇搡BBBB搡BBB搡毛茸茸| 另类小说色婷婷| 欧洲婷婷五月天| 夜夜爱爱亚洲| 国产精品涩涩涩视频网站| 久草大| 色五月婷婷在线视频| 2015WWW永久免费观看播放| 色婷婷电影| 五月婷婷色| 五月婷婷开心激情六月蜜桃| 97碰超级人人看| 九热网站| 另类小说五月天| www.狠狠操| 6080av| 色色免费网站| 婷婷五月天丁香久久| www激情| 亚洲五月天另类小说图片| 亚洲色婷婷99一9|| 六月丁香大香蕉| 操碰91| 99九九精品视频| 涩涩五月天综合| 亚洲一区二区无遮挡A片| 色呦精品| 99热都是精品| 99热天堂| 99热这里只有精品最新网址| 婷婷九月激情| 成人在线精品| 五月丁香六月婷婷综合| 艳妇野外情欲放荡HD| 色综合丁香| 十月色综合| 五月婷婷久久开心网| 99热1| 91九色 熟| 91超级碰碰| 大香蕉99热| 直接看的AV网站| 色色色在线播放| 97碰| 天堂网色色| 亚洲最大成人综合网720P| 九九激情综合| 久久激情网| 天天综合网亚洲综合网| 婷婷色色综合激情| 成人短视频在线观看| 丁香六月激情毛片| 99热伊人综合| 国产精品涩涩涩视频网站| 色五月综合| 五月婷婷综合丁香视频| 丁香五月在线看| 激情综合网,婷婷| 99久久久久| 中文字幕五月久久婷| 久久激情四射| 婷婷D区| 婷婷伊人网| 五月婷婷激情中心| 久色姿源| 久久66er久久| 久9热| 夜夜爱伊人| 人人97操| 色色六月| 草草夜夜操| 狠狠综合| 五月天激情小说网| 91九九| 超碰资源在线| 激情五月五月婷婷| 久久亚洲激情五码| 亚洲激情精品| www国产亚洲色婷婷com| 成人AV在线网站| 婷丁香久综合| 69精品人人人人| 丁香五月婷婷偷拍| 久久婷婷激情四射五月天| 一级片无码| 婷婷五月欧美综合| 人与禽A片啪啪| 超碰碰碰碰| 日日撸夜夜操| 亚洲精品无码久久| 狼人婷婷综合| 波多野结衣AV无码Porn| 亚洲色另类| 五月六月丁香激情| 五月丁香婷婷潮喷中文字幕| 五月丁香AV在线| 九九爱看亚洲| 日韩AAA| 五月www| 婷婷五六月丁香| 五月天色色激情综合| 日韩无码专区| 九九热九九| 婷婷九月激情| 亚洲激情综合网| 久久激情五月婷婷| 啪啪激情综合| 丁香五月婷婷av影院| 日日躁夜夜躁狠狠久久AV| 最近中文字幕大全免费版在线| 在线播放成人网站| 狠狠综合网| 六月丁香网| 五月丁香啪啪啪| 91精品综合久久久久久五月丁香| 综合久久99| 少妇大叫太大太粗太爽了A片| 超碰在线91| 欧洲色| 色色色99| 五月丁香网站| 丁香六月婷| 桃色五月天| 日日夜夜干| 少妇人妻人伦A片| 国产成人精品亚洲线观看| 久久久国产精品黄毛片| 国产精品久久久久9999小说 | 天天搞夜夜叫| 欧美日韩大黄| 色狠狠综合网| www五月天激情com| 五月天天天色| 六月激情综合| 免费啪啪亚州视频| 色五月综合网| 丁香激情五月天| 五月天婷婷久久| 五月丁香香蕉| 国产成人精品亚洲线观看| 亚洲亚洲人成综合网络| 久久人人添人人爽添人人片αV| 六月婷婷五月天| 婷婷色五月综合| 色欲五月丁香| 激情五月天福利| 69综合在线| 97人人做| 色五月开心婷婷| 五月激情另类| 婷香五月| 婷婷丁香六月五月天| 激情五月丁香色婷婷| 婷婷九月丁香久久| 色色色图| 一区视频网站| 91啪啪视频| 久久丁香五月天| 五月天婷婷色| 综合久久十三| 久久婷婷激情久久| 91婷婷伊人牛牛| 久久这里精彩免费在线观看| 婷婷五月天影视网址| 五月婷婷无码专区| 丁香六月情| 大香蕉久久久| 欧美性爱五月天| AA片在线观看视频在线播放| 99精品久久久久久久久| 五月丁香激情综合啪啪| 丁香五月天导航| 天天爽天天日人人爱| 丁香五月天激情综合网| 色 色 色综合com| 超碰91人人操| 成人在线日韩| 大香蕉视频99| 美女黄频aⅴ视频| 五月丁香久久精品在线观看| 天天操天天操| 99热精品中文字幕| 九九色影院| 免费精品99| 美女被操一区二区| 非洲一级AV| 久思思久视频| 特级片神马电影| 九九热免费视频| 99精品视频免费观看| 丁香网五月天| 国产成人AV在线播放| 99噜噜噜在线播放| 99er6热在线观看精品6| 国産精品| 江苏少妇性BBB搡BBB爽爽爽| 在线不卡中文字幕| 亚洲精品五十一区| 丁香五月成人社区| 中文在线视频久1| 久久久精品AV| 国产黄大片在线观看画质优化| 欧美精品久| 久久九九怡红院| 亚洲色亚洲精品| av网址在线| 人人插操| 久久与婷婷| 五月丁香少妇网| 丁香五月婷婷日本| 五月丁香影院| 91av视频在线观看最新网址| 播五月婷婷开心| 色婷婷色五月天| 丁香五月婷婷影院| 五月丁香 狠狠爱| 9久久精品| 狠狠狠狠操| 色色免费网站| 丁香五月婷婷欧美性爱| 黄网免费看| wwwC0maV五月花| 欧美影院婷婷| www...com黄在线观看| 婷婷五月亚洲综合| 婷婷五月综合视频| 99re8这里只有精品99re8热视频| av一区免费看| 激情五月深爱五月| 激情综合五月开心狠狠| 丁香五月激情五月| 啪啪操操| sewuyuejiqingwang| 丁香婷婷色| 欧美 色婷婷| 99自拍网| 综合五月丁香六月婷婷| 久久婷婷精品| 九九综合网色全集| 丁香五月激情婷婷激情| www九九| 97干在线视频精品店| 久久婷婷五月综合| 色色AV色色色东莞| 最近中文字幕大全免费版在线 | 日韩在线视频网站| 久久 视频这里只有精总| 色爱五月天| 天天艹| 五月天六月天| 激情五月综合网最新| 超碰激情网| 午夜伊人大香蕉| 思思99热这里只有精品| 五月色影院| 99re热视频这里只精品| 91热久久| 五月婷婷官网色| 日本不卡高字幕在线2019| AV操逼网| 综合色激情| 第九色区av天堂| 婷婷五月AV| 亚洲va欧洲va国产va不卡| 激情网五月天| 丁香五月香蕉| 九九婷婷网五月天| 免费超碰在线观看| 五月婷俺去也| 91凹凸在线| 九九热内射| 日本色婷婷久久99精品91| 五月婷婷三级| 日韩AV中文字幕在线| 免费久久这里只有精品99| 91操人| 婷婷五月天精品| 色丁香综合影院| 色五月丁香五月| 国产小网站| 天天天摸夜夜夜玩| www.天天干| 婷婷五月天久久久| 丁香五月六月婷婷综合| 五月天啪啪网| 日本婷婷丁香五月| 婷婷色五月天在线| 超碰无码318604| 99热中文字幕久久| 欧美午夜乱妇午夜福利| 亚洲 综合中文| 亚欧州精品视频| 亚洲在线成人| 人人草人人爱手机视频看看| 日韩丰满少妇无码内射| 久思思久视频| 超碰人人草| a在线免费v| 99爱视频在线播放| 大香伊人久色| 六月丁香婷啪射| 激情婷婷六月天| AV在线免费播放| 六月丁香激情| 大香伊人婷婷影院| 亚洲综合狠狠艹| 无码激情AAAAA片-区区| 五月婷婷与六月丁香图片激情| 成人视频一区| 超碰免费大香蕉| 狠狠操狠狠插| 一级性爱大片| 九一99| 日韩人妻AV在线| 五月婷高清视频| 天天日天天插| 久久视网36| 五月婷网| 99九九99九九九视频精彩| 丁香六月综合| 无码一级片| 五月五婷婷| 一级内射毛片| 婷婷五月伦理| 另类五月激情| 亚洲无码成人性爰网| 涩涩五月天| 老司机午夜福利视频金瓶梅| 久热免费视频| 99在线精品视频观看免费下载| 婷婷色导航| 色综合综合色| 99激情网| 182TV亚洲| AV成人在线播放| 国产91九色| 亚洲操操操| 婷婷五月无码| 热久精品| 97婷婷狠狠久久综合9色| 91婷婷五月天嫩女| 国产伊人大香蕉| 五月丁香啪啪综合| www九月婷婷| 五月婷婷无码| 久久五月天 91| 丁香五月综合在线观看| 九九中文色色| 亚洲综合色色| 亚洲第二AV| 天堂婷婷五月在线| 深爱五月激情五月| 婷丁五月| 激情丁香五月| 六月丁香深深爱| 中文字幕免费高清电视剧| 中文无码精品一区二区三区| 中文字幕丰满孑伦无码专区| 天天添天天摸天天天天做| 日韩性爱AV| 深爱激情av| 97涩婷婷| 天天干夜夜谢| 射久久丁香五月| 色综合久久88色综合天天看| 婷婷久久99| 五月婷婷大香蕉| AV伊人青草丁香六月| 九九色色| 色的色综合| 亚洲情综合五月天| 天天日婷婷| 婷色综合| 爽天天天天天天天| WWW.久久久久久久| 狠狠色综合网| 99免费成人网| 超碰v| 婷婷六月天激情影院| 超碰2021| 激情六月色| 综合色影| 丁香五月婷久久| 色五月丁香五月五月婷婷| 午夜天堂一区人妻| site:feetmall.com| 色护士综合| 丁香五月天狠狠| 欧美在线97| 五月婷婷婷| 婷婷五月天777| 五月丁香花成人社区| 新精品99| 99久久.www| 99热这里只有精品1025| 怕怕視頻| 男女啪啪做爰高潮无遮挡 | 久久AAAA片一区二区| 一级二级香港秋霞欧美欧美秋霞| 99色在线视频观看| 久热91精品| 激情五月婷黄版| 嫩草AV久久伊人妇女超级A| 五月丁香激情婷婷综合| 99日在线观看视频| 久久久久久综合88| 欧美成人无码一区二区三区| 国产一级片色色| 五月亚洲| 99热亚洲| 婷婷丁香六月天| 中文字幕性爱丰满| 九九九九九九综合| 久热久| 五月婷婷丁香大陆免费| 日韩小视频在线99| 婷婷情色五月天| www.狠狠操.co m| 操大屄五月天视频| 激情综合五月婷婷| 超碰av在线| 精品国产乱码久久久久久免费| 国产午夜精品久久久观看| 天天操天天曰天天射| 婷香五月激情视频| 久久有码| 丁香五月天激情四射网| 婷婷六月色| 欧美黑人巨大猛烈cuckold| 丁香五月婷婷久久久| 婷婷99中文字幕| 思思99热在线| 爱iii做iiii日日| 五月色婷婷影院| 电影蜘蛛女| 婷婷五月天国产性感美女演员久久久久| 丁香婷婷六月| 精品九九在线观看视频| 黄色网址五月婷婷| 久久视频婷婷| 亚洲中文无码成人| 91九色 熟| 五月婷婷五月天| 成人婷婷深爱综合网| 91精品国产综合久久蜜芽解析速度| 超碰精品在线| 99性爱无码| www.五月天色色色| 五月天精品| 丁香五月区| 久久99精品九九久久久婷婷| 激情AV网| 欧美性爱一区| 多精窝99在线视频| 人人超碰99| 日韩色色视频| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪 | 男人天堂亚洲综合| 91主播在线| 俺去也五月天婷婷| 激情五月婷婷在线| 婷婷伊人综合中文字幕| 精品人妻午夜一区二区三区四区| 天天干,天天日| 婷婷五月综合婷婷| 伊人大香久久| 天天影院色| 久热网在线视频| 伊人久久婷婷| 五月婷狠狠| 色婷婷影视| 色婷婷综合网站| 99操碰| 超碰婷婷五月| 婷婷综合五月| 深爱五月日韩| 丁香五月1页| 9l视频自拍九色9l黑人| 日韩无码色色| 婷婷五月丁香基地| 激情综合五月激情17| 色婷综合| 狠狠干综合| 五月丁香婷婷基地| 99精品视频在线免费观看| AV在线收看| 国产精品18久久久| 婷婷六月综合基地| 五月天成人伊人| www.sebowuyue| 天天射网站| 五月丁香久| 丁香五月 六月婷婷首页| 久久综合干| 狠狠色婷| 亚洲综合五月天| 开心深爱激情网| 色综合爽| 激情综合色婷婷啪啪六月天| BBWCUCKOLD精品熟妇| 日韩操逼大片| 久久aaaa片一区二区| 五月婷丁香| 91久久国产综合久久| 欧美大肥婆大肥BBBBB| 91日日日| 婷婷综合网站| 如何安全看伊人婷婷| 美腿丝袜AV天堂网| 少妇人妻丰满做爰XXX| 99热综合网| 五月天激情无码专区| 5月婷婷视频网站综合| 婷婷色操| 丁香五月天大香蕉啪啪| 激情婷婷六月天| 激情综合一| 丁香婷停五月激情综合深爱| 久草 天堂| 一区无码| 欧美性生交A片免费看| av在线观看免费| 天天天综合网| 天天色天天干天天插| 99热爱爱干干日| 奇米影视在线视频| 成人无码髙潮喷水A片| 超碰成人在线观看| 亚洲综合色色色| 日日婷婷不卡| 91久久婷婷| 亚洲操B视频| 国产成人综合电影| 激情五月综合婷婷| 99热网址| 婷婷丁香色无五月| 激情伊人五月婷婷久久| 在线中文av| 激情丁香五月AV| 日韩精品一区二区三区,四区,五区视频| 婷婷色五月丁香六月欧美啪| 99热66| 激情五月婷婷综合色播小说| 丁香五月天天| 亚洲妇女熟BBW| 99热九九热| 午夜婷婷久久 | 国产视频久色| 99久久婷婷国产综合| 激情丁香久久久久久| 97久久婷婷色| 99久久国产宗和精品1上映| 久久激情五月| 99亚洲精品| 久久99免费视频| 丁香六月色情| 五月丁香爱婷婷深深| 一级精品999WWW| 六月婷婷AV| 曰韩五月丁香色婷婷无码| 成人av免费观看| 色九网| 婷婷 伊人 久久| 五月花激情| 天天日夜夜操五月| 成人超碰AV| 久久婷婷影院| 99碰网站| 超碰在线观看成人视| av在线免费播放观看| 免费看成人AA片无码视频吃奶| 少妇综合网| 嫩草视频在线观看| 狠狠色五月天| 欧美成人网99网| 久久婷婷丁香六月天| 婷婷丁香五月天在线视频| 五月天日日操夜夜操 | 久久人人妻| 五月婷色色| 五月丁香婷婷综合视频| 婷婷六月天激情| 九九视频这里有精品| 思思w99| 五月丁香六月婷婷亚洲激情综合| 婷婷四月 成人 狠狠干| 色情综合| 91黄址| www.射伊蕉婷婷| 青青草99热久久精品国| 婷婷五月天性爱视频| 日本婷婷色| 综合色五月亭亭| 51精品国自产在线| 另类少妇人与禽zOZZ0性伦| 饮料下药迷倒漂亮女同事强干| 久九色| 九九热10| 另类图片激情五月| 婷婷五月天天爽| 五月婷婷啪啪| 亚洲最大视频| 丁香五月婷久久| 色五月婷婷色五月| 丁香五月开心婷婷| 色五月婷激情| 色婷五月| 激情五月六月丁香| 狠狠色狠狠鲁| 狠狠狠人妻| 日日操夜夜爽天天天| 色五月婷婷在线视频| 婷五月天在线草| 婷婷激情另类| 九九免费视频在线| 99久久国产宗和精品1上映| site:wpjngj.com| 影音先锋女人av鲁色资源网小说免费| 奇米影视在线视频| 中文超碰视在线| 日本三级第一页| av操B网站| 亚洲精品无码A片一区二区| 精品热九九| 人妻在线观看视频| 91欧美日韩| 婷婷五月天性爱视频| 成人午夜在线视频| 91操屁股| 亚洲AV第二区国产精品| 五月丁香六月婷婷成人| 性色婷婷| 在线成人网站| 欧美激情综合| 免费视频舔| 99热欧| 激情五月天之五月婷婷| 五月丁香成人| 激情宗合网激情五月天| 亚洲无码九九| 五月天婷婷爱| 激情五月天com| 五月婷婷在线观看黄| 日本激情91| 色婷久久| 亚洲无码色| 国产av天堂| 国外亚洲成AV人片在线观看| 久久久久久久久月丁| 日韩日比视频在线| 亚洲欧洲一二| 色婷婷影| 久久婷.com| 日本九九九九| 婷五月丁香俺| 高清激情av在线观看| 99视频精品8| 婷婷中文字暮| 天天干天天操天天拍| 激情九色| 婷婷色色网| 99热色精品| 黄色国久久| 久久久久久9热不雅视频| 停停六月 综合| 九月婷婷激情| 91婷婷| 97色色色视屏| 五月天综合区| 亚洲激情.com| 婷婷五月色惰| 日本三级黄色大片| 99热91| 亚洲AV影片在线观看| 1024久婷| 亚洲AV第二区国产精品| 9l视频自拍9l九色成人| 六月激情婷婷色| 色色网站免费观看| 俺去也五月天婷婷| 欧美久久网| 丁香五月偷拍| 三级片AAA久久久AAA久久久AAA| 丁香啪啪中文字幕| 人妻激情视频| 99久久久久| 亚洲色婷婷激情| www.99热. com这里只有精品| 99综合| 亚洲成人免费电影| 欧美激情五月天| 久久成人亚洲欧美电影| 色婷婷综合影院| 久久99网站| 五月天成人网婷婷| 激情五月天色婷婷| 99re在线视频| 免费黄色片子| 欧美色激情四射| 第四色大香蕉| 婷婷激情四射| 天天撸夜夜爽| 五月激情站| 超碰碰碰碰| 无码激情AAAAA片-区区| 国产超碰av| 丁香婷婷色| 亚洲色激婷| 丁香五月六月婷婷殴美综合| 久婷婷婷| 九九热在线视频| 亚洲无码猫咪| 亚洲欧洲国产精品| 欧美激情xxxXX| 丁香五月婷婷在线观看| 综合色99| 国产偷人爽久久久久久老妇APP| 99re久久| 日本三级99人妇网站| 4399在线观看免费毛片| 婷激情五月天视频导航| 亚洲色综合性| 亚洲综合无码| 性一交一乱一交A片久| 无码一区二区三区四区五区91c| 99无码超碰| 丁香五月婷婷88在线| 性色五月天| 亚洲色婷婷五月天| 国产女18毛片多18精品| 久久色天堂| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 久人操| 欧美成性色| 五月天婷婷在线播放免费| 五月婷在线观看| av操逼网| 婷婷大乡焦噜噜| 五月久久噜噜| 五月天色丁香| 性爱视频久久| 九九久久腿| 91久久久久久久久18| 五月天激情图| 婷婷色啪| 国产成人精品一区二三区熟女在线| 久久九九婷婷| 影音先锋xfplay资源男人网| 99免费视频网| 狠狠狠狠狠狠狠狠| 亚洲精品第一国产综合亚AV| 人人澡玖玖一| 狠狠干五码| 婷婷九月激情| 欧美怡红院黄站| 五月亭亭六月色| 丁香五月天五码婷婷| 操日视频| 色婷婷小说| 殴美日韩成人| 99小精品| 精品人妻一区| 色婷婷成人做爰A片免费看网站 | 亚洲超碰在线| 色偷偷狠狠| 丁香五月婷婷啪啪| 婷婷香蕉香| 色婷婷综合网| 久久色这里只有精品| 狠狠操狠狠操| a片在线免费观看一区| 狠狠操之狠狠操| 丁香五月天资源网| 五月婷婷色| 视频1区2区| 丁香伊人激情| 综合性爱网| 国产91资源在线| 欧洲亚洲免费视频9| 丁香婷婷伊人| 五月色影院| 欧美碰碰| 激情综合五月色在线| 亚洲人妻Av| 婷婷色色网站| 操一区| 深爱激情六月天| 99色热| 久久久欧美精品sm网站| 另类小说婷婷色| 五月天啪啪视频| 亚洲色图五月丁香五月婷婷| 天天草人人摸| 色婷婷六月| 亚洲色就是色色色| 亚洲激情av| 五月草视频| 五月综合视频| 99在线公开视频| 操逼棍操逼| 婷婷五月天综合网| 另类少妇人与禽zOZZ0性伦| 亚洲无码yw| 99性爱精品| 九九色婷婷| 色婷婷狠狠久久YY| 精品人妻久久久久久久| 日本丁香五月| 激情五月色综合网| 亚洲综合狠狠艹| 婷婷91| 91色在线| 婷婷五月色網站| 丰满人妻一区二区三区| 激情婷婷在线中文字幕| 亚洲色激情| 青柠影视免费高清电视剧| 日韩综合久久| 五月天婷婷激情在线色图| 香蕉久久国产AV一区二区| 97久久超碰| 激情综合激情综合| 亚洲性爱AV在线| www,五月天com| 五月 激情视频| www.com在线操视频免费观看| 狠狠色性| 婷婷五月天久久久|