欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

LLM推理服務(wù)尾延遲治理:從超時(shí)、重試到排隊(duì)控制的實(shí)戰(zhàn)指南

LLM推理服務(wù)尾延遲治理:從超時(shí)、重試到排隊(duì)控制的實(shí)戰(zhàn)指南 這次聊一個(gè)生產(chǎn)環(huán)境會(huì)很快暴露的問題LLM 推理服務(wù)的平均延遲很好看P99 卻會(huì)突然起飛緊接著就是接口超時(shí)、用戶重試、服務(wù)雪崩。很多團(tuán)隊(duì)把 LLM 接口接進(jìn)業(yè)務(wù)后第一個(gè)關(guān)注的是“平均響應(yīng)多快”真正上線后才會(huì)被上一課平均延遲不高但總有一部分請(qǐng)求比平均慢好幾倍。這些慢請(qǐng)求就是尾延遲。它不一定是模型變笨了更多時(shí)候是排隊(duì)、批處理、調(diào)度、共享資源共同作用后的結(jié)果。從分布式系統(tǒng)角度看尾延遲是經(jīng)典問題。LLM 推理場景又給它加了幾個(gè)放大器解碼階段必須逐 token 生成單個(gè)長請(qǐng)求會(huì)占住推理資源動(dòng)態(tài)批次里的長短請(qǐng)求還會(huì)互相干擾。所以“換更強(qiáng)的顯卡”不一定能解決問題真正的修法往往在模型執(zhí)行層、調(diào)度層和客戶端這一整條鏈路上。這篇文章給出一個(gè)可以照著落地的“簡單修復(fù)”思路先量化尾延遲再在客戶端與網(wǎng)關(guān)之間做三層控制——按業(yè)務(wù) SLO 設(shè)置超時(shí)、對(duì)關(guān)鍵請(qǐng)求引入 hedge requests競速請(qǐng)求先到先得、在服務(wù)入口控制排隊(duì)深度并做容量隔離。如果這些還不夠再往推理框架的執(zhí)行層推進(jìn)。全程會(huì)給出可改的代碼和驗(yàn)證流程不涉及改模型權(quán)重也不需要重訓(xùn)模型。1. 這篇要解決的問題與核心結(jié)論速覽先給結(jié)論后面再拆步驟。維度說明討論對(duì)象LLM 推理服務(wù)的尾延遲重點(diǎn)看 p95 / p99 表現(xiàn)典型癥狀平均延遲正常少量請(qǐng)求高達(dá)均值數(shù)倍超時(shí)集中在高負(fù)載時(shí)段簡單修復(fù)客戶端/網(wǎng)關(guān)超時(shí) hedge requests 服務(wù)端排隊(duì)與容量控制進(jìn)階修復(fù)動(dòng)態(tài)批處理、chunked prefill、prefill/decode 分離、推測解碼等執(zhí)行層優(yōu)化涉及環(huán)節(jié)客戶端 SDK、網(wǎng)關(guān)、推理服務(wù)、GPU 資源、可觀測指標(biāo)依賴環(huán)境Python 3.9、異步 HTTP 客戶端、推理服務(wù)日志或指標(biāo)系統(tǒng)驗(yàn)證方式壓測前后對(duì)比 p50 / p95 / p99、成功率、超時(shí)率和排隊(duì)長度適合讀者負(fù)責(zé) LLM 接口穩(wěn)定性、推理服務(wù)性能優(yōu)化、分布式系統(tǒng)設(shè)計(jì)的研發(fā)這里把“簡單”二字說清楚它不是“調(diào)一個(gè)參數(shù)就徹底解決所有人尾延遲”的魔法而是先處理成本最低、見效最快的那幾層。做分布式系統(tǒng)的人都熟悉一句話不能讓一個(gè)慢副本或一個(gè)慢請(qǐng)求拖垮整體 SLA。LLM 服務(wù)也一樣。2. LLM 尾延遲是怎么產(chǎn)生的要理解修復(fù)方案得先看清 LLM 推理和普通 HTTP 服務(wù)的差別。普通服務(wù)處理一個(gè)請(qǐng)求通常是一個(gè)有限的計(jì)算過程讀取參數(shù)、查詢數(shù)據(jù)、返回結(jié)果。耗時(shí)大概率是穩(wěn)定的尾延遲主要來自排隊(duì)和機(jī)器抖動(dòng)。LLM 推理請(qǐng)求不是這樣。一個(gè)生成請(qǐng)求內(nèi)部有兩個(gè)明顯階段Prefill 階段處理完整 prompt計(jì)算量很大但可以并行計(jì)算。Decode 階段逐個(gè)生成 token當(dāng)前 token 依賴前一個(gè) token天然串行。Decode 階段對(duì)顯存帶寬很敏感而且生成多少個(gè) token 完全不確定。同樣是“寫一段總結(jié)”有的請(qǐng)求生成 100 個(gè) token有的生成 1000 個(gè) token。輸出長度方差一大請(qǐng)求的占用時(shí)間方差就大尾延遲自然出現(xiàn)。再疊加一個(gè)因素推理服務(wù)為了提升吞吐通常會(huì)把多個(gè)請(qǐng)求動(dòng)態(tài)打包到同一個(gè) GPU 上執(zhí)行。一個(gè) batch 里如果混入一個(gè)超長請(qǐng)求它占用的 compute 和 KV cache 就會(huì)拖住其他請(qǐng)求。即使框架做了 continuous batching讓短請(qǐng)求可以提前退出長請(qǐng)求仍然會(huì)在某一段時(shí)間內(nèi)獨(dú)占或擠壓資源。所以 LLM 服務(wù)的尾延遲至少由四段組成請(qǐng)求在隊(duì)列里的等待時(shí)間。Prefill 階段的計(jì)算時(shí)間。Decode 階段的逐 token 生成時(shí)間。網(wǎng)絡(luò)傳輸、反序列化、框架調(diào)度等額外開銷。只看總延遲很難定位問題。后面所有修復(fù)手段都要先能拆出這幾段。3. 從六個(gè)來源排查尾延遲3.1 排隊(duì)效應(yīng)和隊(duì)頭阻塞推理服務(wù)通常有一個(gè)線程池或任務(wù)隊(duì)列。服務(wù)一忙新請(qǐng)求先排隊(duì)。隊(duì)列越深等待越久。如果隊(duì)首是一個(gè)超長請(qǐng)求后面的短請(qǐng)求全部被壓住就會(huì)出現(xiàn)“前面那個(gè)任務(wù)不走后面全堵住”的隊(duì)頭阻塞。排查時(shí)不要只看 GPU 是否打滿。隊(duì)列長度高但 GPU 利用率不飽和往往說明瓶頸在調(diào)度而不是算力。3.2 動(dòng)態(tài)批次里的長短請(qǐng)求互相干擾現(xiàn)在主流推理框架都支持動(dòng)態(tài)批處理但長度差異的影響仍然存在。長請(qǐng)求的 decode 會(huì)持續(xù)占用顯存帶寬和計(jì)算資源。一個(gè) 2048 token 的請(qǐng)求和一個(gè) 64 token 的請(qǐng)求混在同一個(gè) batch 中框架要等前者逐步完成資源空轉(zhuǎn)在短請(qǐng)求上會(huì)很明顯。3.3 Prefill 和 Decode 混跑很多推理框架默認(rèn)把 prefill 和 decode 放在同一批里執(zhí)行。prefill 是計(jì)算密集型decode 是訪存密集型。兩者混在一起會(huì)產(chǎn)生資源互踩prefill 搶計(jì)算decode 搶顯存帶寬。如果調(diào)度策略不好個(gè)別請(qǐng)求的首 token 延遲就會(huì)被 prefill 頂上去。3.4 請(qǐng)求長度本身就是長尾分布用戶輸入長度極不均勻。有人發(fā)一句話有人粘貼一整篇文檔。Prompt 越長prefill 時(shí)間越長輸出 max_tokens 設(shè)置越大單請(qǐng)求占住資源的時(shí)間越長。這個(gè)變量很容易被忽略但它常常是 p99 突然飆高的原因。3.5 硬件異構(gòu)和資源爭搶多副本部署時(shí)不同機(jī)器的 GPU 型號(hào)、驅(qū)動(dòng)、鄰居負(fù)載不一定相同。共享節(jié)點(diǎn)上如果還有別的任務(wù)在搶 CPU 或內(nèi)存帶寬某些副本就是會(huì)比別人慢??蛻舳嗣看温酚傻铰北镜母怕孰m然不高但 p99 恰恰就是這部分請(qǐng)求。3.6 框架調(diào)度和日志鏈路開銷Python 推理服務(wù)在高并發(fā)下會(huì)有 GIL 爭搶、鎖競爭、序列化開銷。日志如果同步寫磁盤也可能成為延遲黑洞。這類問題不是模型造成的但會(huì)直接體現(xiàn)在總延遲上。4. 修復(fù)前先做好觀測指標(biāo)和日志要能拆階段沒有指標(biāo)就動(dòng)優(yōu)化等于閉眼開車。建議在接入任何修復(fù)手段之前先為每個(gè)推理請(qǐng)求記錄結(jié)構(gòu)化日志至少包含這些字段字段含義request_id請(qǐng)求唯一 ID用于鏈路追蹤start_ts請(qǐng)求到達(dá)網(wǎng)關(guān)/服務(wù)的時(shí)間queue_start_ts進(jìn)入推理隊(duì)列的時(shí)間prefill_start_tsprefill 開始時(shí)間first_token_ts首 token 返回時(shí)間finish_ts請(qǐng)求完成時(shí)間prompt_tokens輸入 token 數(shù)completion_tokens輸出 token 數(shù)status成功、超時(shí)、失敗、被限流有了這些字段至少能算三個(gè)關(guān)鍵指標(biāo)TTFTtime to first token從請(qǐng)求發(fā)出到第一個(gè) token 返回的時(shí)間主要反映排隊(duì)和 prefill。TPOTtime per output token/ decode 速度反映 decode 階段是否穩(wěn)定。端到端總延遲影響用戶整體體驗(yàn)。采集示例如下import time import uuid def make_record(): return { request_id: str(uuid.uuid4()), start_ts: time.perf_counter(), } def mark(record, key): record[key] time.perf_counter() def save_record(record): # 生產(chǎn)環(huán)境建議寫入 Prometheus / ClickHouse / Loki不要同步寫本地磁盤 print(record)日志字段先不追求全但 request_id 和 finish_ts 必須有。沒有 request_id后面所有耗時(shí)分析都無法串聯(lián)。GPU 資源觀察可以在壓測時(shí)開一個(gè)終端watch -n 1 nvidia-smi如果部署在 Kubernetes 里可以看節(jié)點(diǎn)維度的資源占用kubectl top node kubectl top pod -l appllm-server這里的重點(diǎn)是“先量化再修復(fù)”。你接下來做的每一個(gè)改動(dòng)都要回到 p50、p95、p99 上去驗(yàn)證。5. 簡單修復(fù)一給客戶端和網(wǎng)關(guān)加上超時(shí)第一個(gè)修復(fù)不需要?jiǎng)油评矸?wù)先把用戶側(cè)的等待上限卡住。很多服務(wù)被拖垮是因?yàn)榭蛻舳藳]有超時(shí)請(qǐng)求一直掛在遠(yuǎn)端不放。一個(gè)請(qǐng)求在服務(wù)端排隊(duì) 30 秒客戶端也等 30 秒這一個(gè)慢請(qǐng)求就會(huì)占住一個(gè)連接、一個(gè)線程池任務(wù)、一個(gè)協(xié)程。并發(fā)一高整個(gè)服務(wù)連接池被占滿所有請(qǐng)求都開始排隊(duì)。所以第一步是按業(yè)務(wù) SLO 設(shè)置請(qǐng)求超時(shí)。如果業(yè)務(wù)要求 5 秒內(nèi)返回就不要等服務(wù)端自己把任務(wù)跑完。超過預(yù)算就立即降級(jí)或返回超時(shí)錯(cuò)誤。下面是一個(gè)異步客戶端超時(shí)示例import httpx async def call_llm( client: httpx.AsyncClient, payload: dict, timeout_seconds: float 5.0, ): try: response await client.post( http://127.0.0.1:8000/v1/completions, jsonpayload, timeouttimeout_seconds, ) return response.status_code, response.json() except httpx.ReadTimeout: # 超時(shí)后走降級(jí)邏輯返回緩存、降級(jí)文案或標(biāo)記失敗 return 504, {error: llm request timed out}這里有一個(gè)常見誤區(qū)客戶端超時(shí)只是不讓調(diào)用方繼續(xù)等待不代表服務(wù)端請(qǐng)求被取消。很多推理框架并不會(huì)因?yàn)榭蛻舳藬嚅_連接就主動(dòng)停止生成任務(wù)仍然在 GPU 上跑資源照樣被占住。所以超時(shí)要配合服務(wù)端取消能力。網(wǎng)關(guān)如果支持把客戶端的取消信號(hào)傳遞到推理服務(wù)就用不支持的話超時(shí)只解決“調(diào)用方體驗(yàn)”不解決“服務(wù)端負(fù)載”。必要時(shí)還需要在推理服務(wù)側(cè)加請(qǐng)求級(jí)取消或最大排隊(duì)時(shí)間避免請(qǐng)求進(jìn)來后無限等待。建議超時(shí)設(shè)置要有梯度讀緩存或降級(jí)接口給較小超時(shí)。LLM 生成接口按歷史 p95 再加一點(diǎn)余量。不要給所有接口同一個(gè)超時(shí)時(shí)間。超時(shí)本身不能降尾延遲但它能把尾延遲對(duì)業(yè)務(wù)的影響限制在可控范圍內(nèi)。6. 簡單修復(fù)二Hedged Requests讓請(qǐng)求競速如果你已經(jīng)排除了排隊(duì)問題但個(gè)別請(qǐng)求就是會(huì)因?yàn)闄C(jī)器抖動(dòng)、網(wǎng)絡(luò)抖動(dòng)而特別慢可以考慮第二個(gè)手段hedged requests。這個(gè)思路來自大規(guī)模分布式系統(tǒng)中的經(jīng)典實(shí)踐不要只發(fā)一個(gè)請(qǐng)求死等而是在等待超過某個(gè)閾值后向另一個(gè)副本發(fā)起同樣的請(qǐng)求哪個(gè)先返回就用哪個(gè)。放到 LLM 場景使用方式不是每次請(qǐng)求都雙發(fā)那樣成本會(huì)翻倍。更合理的是先向首選副本發(fā)請(qǐng)求。請(qǐng)求超過一個(gè)閾值后仍未返回默認(rèn)選擇從歷史 p95 或 SLO 預(yù)算推導(dǎo)出該閾值。再向另一副本發(fā)起同樣請(qǐng)求。先返回的成功結(jié)果勝出取消其他未完成請(qǐng)求。代碼示意如下import asyncio import httpx async def call_one(url: str, payload: dict) - dict: async with httpx.AsyncClient(timeout10.0) as client: response await client.post(url, jsonpayload) response.raise_for_status() return response.json() async def call_with_hedge( url_a: str, url_b: str, payload: dict, start_hedge_after: float 0.3, ): task_a asyncio.create_task(call_one(url_a, payload)) # 先給首選副本一點(diǎn)時(shí)間 done, _ await asyncio.wait({task_a}, timeoutstart_hedge_after) if task_a in done: # 首選副本已返回 return task_a.result() # 未返回則向備用副本發(fā)起第二個(gè)請(qǐng)求 task_b asyncio.create_task(call_one(url_b, payload)) done, pending await asyncio.wait( {task_a, task_b}, return_whenasyncio.FIRST_COMPLETED, ) for task in pending: task.cancel() for task in done: try: return task.result() except Exception: continue raise RuntimeError(all hedge requests failed)這段代碼是演示用生產(chǎn)環(huán)境還要處理幾個(gè)細(xì)節(jié)兩個(gè)請(qǐng)求最好打到不同副本否則無法解決副本級(jí)故障。LLM 請(qǐng)求不是天然冪等的同一個(gè)請(qǐng)求重復(fù)執(zhí)行會(huì)增加 token 消耗。建議只對(duì)“只讀類、關(guān)鍵鏈路、用戶可容忍一定成本”的請(qǐng)求開 hedge。如果數(shù)據(jù)有合規(guī)邊界不要把數(shù)據(jù)發(fā)到不同域名的外部服務(wù)。合理做法是在同一套內(nèi)部集群的不同副本之間做競速避免擴(kuò)大數(shù)據(jù)暴露范圍。必須設(shè)置整體預(yù)算。不能讓 hedge 請(qǐng)求無限等下去要在 SLO 內(nèi)截?cái)?。這個(gè)方案的優(yōu)點(diǎn)是邏輯簡單不需要改推理服務(wù)內(nèi)部實(shí)現(xiàn)缺點(diǎn)是會(huì)帶來額外的 token 成本和算力消耗。所以它適合作為“兜底手段”而不是默認(rèn)策略。7. 簡單修復(fù)三服務(wù)端排隊(duì)深度與優(yōu)先級(jí)隔離客戶端超時(shí)和 hedge requests 只是在入口做攔截服務(wù)端自身的排隊(duì)策略如果沒控制好請(qǐng)求還是會(huì)大量堆積。一個(gè)典型的壞現(xiàn)象是推理服務(wù)已經(jīng)處理不過來了網(wǎng)關(guān)仍然把請(qǐng)求全部塞進(jìn)來。任務(wù)隊(duì)列無界增長每個(gè)請(qǐng)求都等到超時(shí)才走最后服務(wù)徹底不可用。正確做法是“有界隊(duì)列 快速失敗”。當(dāng)服務(wù)處于過載狀態(tài)時(shí)不再讓新請(qǐng)求進(jìn)入隊(duì)列而是直接返回 429 或 503讓上游去重試或降級(jí)。對(duì) LLM 推理這種高成本服務(wù)來說快速失敗比重試等待更健康。一個(gè)簡單的容量門控可以用信號(hào)量實(shí)現(xiàn)import asyncio class CapacityGate: def __init__(self, max_inflight: int, max_waiting: int): self._semaphore asyncio.Semaphore(max_inflight) self._max_waiting max_waiting self._waiting 0 async def acquire(self, wait_timeout: float 1.0): if self._waiting self._max_waiting: raise OverloadedError(queue is full, please retry later) self._waiting 1 try: await asyncio.wait_for(self._semaphore.acquire(), timeoutwait_timeout) except asyncio.TimeoutError: raise OverloadedError(wait queue timeout) from None finally: self._waiting - 1 def release(self): self._semaphore.release()在業(yè)務(wù)服務(wù)里可以這樣使用gate CapacityGate(max_inflight16, max_waiting64) async def run_inference(payload): await gate.acquire() try: # 這里調(diào)用真正的 LLM 推理服務(wù) return await inference_client.generate(payload) finally: gate.release()這個(gè)方案的實(shí)質(zhì)是寧可讓請(qǐng)求快速失敗也不要讓請(qǐng)求在隊(duì)列里堆積成山。配合客戶端超時(shí)效果會(huì)非常明顯因?yàn)榉?wù)端不再消耗資源處理那些注定要超時(shí)的請(qǐng)求。除了容量控制還要考慮多租戶場景下的優(yōu)先級(jí)隔離。線上實(shí)時(shí)請(qǐng)求和離線批量任務(wù)如果共用同一個(gè)服務(wù)應(yīng)該分隊(duì)列或分實(shí)例。批量任務(wù)可以容忍慢線上請(qǐng)求不能。常見做法是線上實(shí)時(shí)請(qǐng)求高優(yōu)先級(jí)隊(duì)列小 batch嚴(yán)格 SLO。離線批任務(wù)低優(yōu)先級(jí)大 batch可以排隊(duì)等待。如果兩者必須混跑至少要做優(yōu)先級(jí)搶占或權(quán)重調(diào)度。這里的核心是“隔離”。不隔離的后果是離線任務(wù)一跑線上 P99 立刻變差。8. 再進(jìn)一步執(zhí)行層優(yōu)化前幾層修復(fù)做完客戶端不會(huì)無限等服務(wù)端隊(duì)列也不會(huì)無界增長。但如果 GPU 執(zhí)行本身低效那么 p99 可能還是偏高只是用戶感知到的超時(shí)變少了。執(zhí)行層的問題通常要從推理框架入手。以下方向都需要根據(jù)實(shí)際負(fù)載驗(yàn)證而不是一概而論8.1 動(dòng)態(tài)批處理與 continuous batching讓推理框架在 batch 內(nèi)動(dòng)態(tài)加入新請(qǐng)求、動(dòng)態(tài)退出已完成請(qǐng)求而不是等整個(gè) batch 結(jié)束。這個(gè)能力能明顯提高吞吐但如果框架調(diào)度粒度粗長請(qǐng)求仍然會(huì)拖慢同 batch 的其他請(qǐng)求。主流框架一般都實(shí)現(xiàn)了類似機(jī)制具體開關(guān)和參數(shù)以你所用的框架版本為準(zhǔn)。8.2 Chunked Prefill把 prefill 階段拆成小 chunk避免一個(gè)超長 prompt 的 prefill 長時(shí)間阻塞其他請(qǐng)求的 decode。適合 prompt 長度差異大的場景。啟用后首 token 延遲會(huì)改善但調(diào)度開銷可能上升需要壓測確認(rèn)。8.3 Prefill 與 Decode 分離部署把 prefill 階段和 decode 階段安排到不同實(shí)例上因?yàn)閮烧哂?jì)算特征不同分離后可以各自調(diào)優(yōu)。架構(gòu)更復(fù)雜適合大流量、長上下文場景。如果只是一個(gè)內(nèi)部小服務(wù)沒有必要一開始就上。8.4 推測解碼用小模型/草稿模型推測多個(gè) token再由大模型驗(yàn)證能減少 decode 步數(shù)對(duì)延遲和吞吐都有幫助。但依賴模型類型、batch 大小和硬件是否有效需要實(shí)測。8.5 KV Cache 和顯存管理KV cache 會(huì)隨并發(fā)和上下文長度快速增長。顯存碎片、KV cache 淘汰策略、長請(qǐng)求顯存占用過高都會(huì)影響調(diào)度。如果經(jīng)常出現(xiàn)顯存不足或反復(fù)重新調(diào)度優(yōu)先檢查 KV cache 管理。這些執(zhí)行層優(yōu)化沒有一個(gè)能保證在所有場景下都有效。正確流程是先做前面三層簡單修復(fù)再通過壓測看瓶頸是否還在 GPU 執(zhí)行階段。如果 GPU 平均利用率已經(jīng)很高p99 仍然高才值得繼續(xù)深入執(zhí)行層。9. 驗(yàn)證閉環(huán)壓測與指標(biāo)對(duì)比做任何修復(fù)都要用同一套壓測腳本、同一份數(shù)據(jù)、同一批并發(fā)模型去對(duì)比修復(fù)前后。否則很容易把環(huán)境差異誤判成優(yōu)化效果。下面是一個(gè)簡單的異步壓測腳本框架用來采集各個(gè)請(qǐng)求的延遲import asyncio import aiohttp import time ENDPOINT http://127.0.0.1:8000/v1/completions PAYLOAD { prompt: 用三句話總結(jié)這篇文章, max_tokens: 128, temperature: 0.7, } CONCURRENCY 50 TOTAL_REQUESTS 500 def percentile(sorted_data, p): if not sorted_data: return 0.0 k (len(sorted_data) - 1) * (p / 100.0) f int(k) c min(f 1, len(sorted_data) - 1) return sorted_data[f] (sorted_data[c] - sorted_data[f]) * (k - f) async def single_request(session): start time.perf_counter() async with session.post(ENDPOINT, jsonPAYLOAD) as response: status response.status return status, time.perf_counter() - start async def worker(session, results): status, elapsed await single_request(session) results.append((status, elapsed)) async def main(): results [] sem asyncio.Semaphore(CONCURRENCY) async def limited(): async with sem: await worker(session, results) async with aiohttp.ClientSession() as session: tasks [asyncio.create_task(limited()) for _ in range(TOTAL_REQUESTS)] await asyncio.gather(*tasks) latency [r[1] for r in results if r[0] 200] latency.sort() success_ratio len(latency) / len(results) print(fsuccess_ratio: {success_ratio:.2%}) if latency: print(fp50: {percentile(latency, 50) * 1000:.1f} ms) print(fp95: {percentile(latency, 95) * 1000:.1f} ms) print(fp99: {percentile(latency, 99) * 1000:.1f} ms) asyncio.run(main())這個(gè)腳本只是框架壓測時(shí)要注意幾點(diǎn)壓測時(shí)間不能太短至少持續(xù)數(shù)分鐘讓排隊(duì)效應(yīng)穩(wěn)定下來。數(shù)據(jù)集要覆蓋不同 prompt 長度和 max_tokens不能全是短請(qǐng)求。對(duì)比修復(fù)前后保留同一份歷史請(qǐng)求分布。除了延遲還要統(tǒng)計(jì)成功率、超時(shí)率、token 吞吐和 GPU 利用率。判斷成功的標(biāo)準(zhǔn)要提前定好。例如p50 基本不變或略有上升但 p95 / p99 明顯下降。超時(shí)率下降且沒有拖垮吞吐。成功請(qǐng)求的總 token 數(shù)沒有因?yàn)橹卦嚩蠓黾?。看到這組指標(biāo)后再?zèng)Q定是否需要繼續(xù)做執(zhí)行層優(yōu)化還是當(dāng)前修復(fù)已經(jīng)夠用。10. 常見問題與排查方法下面是生產(chǎn)環(huán)境常見的尾延遲問題排查表可以對(duì)照檢查。問題現(xiàn)象可能原因排查方式解決方案p99 高但 GPU 平均利用率不高排隊(duì)不均或隊(duì)頭阻塞看隊(duì)列長度、單請(qǐng)求耗時(shí)分布增加并發(fā)控制拆分長短請(qǐng)求所有請(qǐng)求在同一時(shí)刻集中超時(shí)服務(wù)端過載或隊(duì)列被打滿看隊(duì)列深度和服務(wù)端日志返回限流狀態(tài)快速失敗限制并發(fā)客戶端超時(shí)后服務(wù)端仍在生成斷開連接后任務(wù)沒有被取消檢查框架是否支持 cancel在服務(wù)端實(shí)現(xiàn)請(qǐng)求取消或最大執(zhí)行時(shí)長開啟重試后 token 消耗暴漲沒有限制重試預(yù)算統(tǒng)計(jì)重試率、重試導(dǎo)致的 token只對(duì)關(guān)鍵請(qǐng)求重試加退避和限量hedge requests 后延遲下降但不明顯兩個(gè)請(qǐng)求打到了同一副本或同一網(wǎng)絡(luò)路徑檢查路由策略確保請(qǐng)求發(fā)往不同副本使用內(nèi)部多副本p95 正常p99 異常高少數(shù)副本變慢或長文本請(qǐng)求按副本、按 prompt 長度分組統(tǒng)計(jì)解決副本冷熱不均限制超長請(qǐng)求優(yōu)先級(jí)一個(gè)長請(qǐng)求拖慢一批短請(qǐng)求batch 內(nèi)請(qǐng)求長度差異大對(duì)比長短請(qǐng)求的 TPOT啟用 chunked prefill 或拆分長短請(qǐng)求隊(duì)列壓測結(jié)果波動(dòng)很大環(huán)境噪聲或壓測時(shí)間太短加長壓測時(shí)長固定請(qǐng)求分布多次壓測取穩(wěn)定結(jié)果這里強(qiáng)調(diào)一點(diǎn)不要一遇到 p99 高就立刻懷疑推理框架有問題。先看請(qǐng)求長度分布和隊(duì)列。很多尾延遲的根源其實(shí)早就在進(jìn)入 GPU 之前就埋下了。11. 最佳實(shí)踐與落地順序結(jié)合上面的內(nèi)容推薦按下面的順序落地修復(fù)方案。11.1 先補(bǔ)觀測把所有請(qǐng)求加上 request_id記錄各階段時(shí)間戳。沒有觀測數(shù)據(jù)后續(xù)每一步優(yōu)化都沒有依據(jù)。11.2 客戶端超時(shí)先于一切所有調(diào)用 LLM 接口的地方都必須設(shè)置超時(shí)并明確超時(shí)后的降級(jí)行為。這是成本最低、收益最直接的一步。11.3 控制服務(wù)端入站流量通過有界隊(duì)列、信號(hào)量和最大并發(fā)數(shù)避免服務(wù)端進(jìn)入無界排隊(duì)狀態(tài)。高負(fù)載時(shí)寧可快速失敗也不要無限堆積。11.4 關(guān)鍵請(qǐng)求再用競速方案默認(rèn)不雙發(fā)。只有當(dāng)歷史數(shù)據(jù)顯示某些請(qǐng)求會(huì)明顯慢于預(yù)期且業(yè)務(wù)允許更高的 token 消耗時(shí)才對(duì)這部分請(qǐng)求啟用 hedge requests。11.5 壓測對(duì)比不要憑感覺調(diào)參每做一步修改都跑同一套壓測流程對(duì)比 p50、p95、p99、成功率、超時(shí)率和 token 成本。用數(shù)據(jù)決定是否需要進(jìn)入執(zhí)行層優(yōu)化。11.6 涉及數(shù)據(jù)使用的合規(guī)提醒修復(fù)過程中涉及請(qǐng)求轉(zhuǎn)發(fā)、多副本調(diào)用時(shí)要確保數(shù)據(jù)只流向有授權(quán)的內(nèi)部服務(wù)。不要為了降低延遲把包含敏感信息的數(shù)據(jù)發(fā)送到未確認(rèn)合規(guī)的外部接口。人臉、聲音、隱私文本等數(shù)據(jù)都要先確認(rèn)授權(quán)邊界再進(jìn)入多副本鏈路。11.7 線上發(fā)布前做小流量驗(yàn)證不要一次性全量發(fā)布修復(fù)策略。先讓 5% 到 10% 流量走新邏輯觀察成功率、延遲和成本確認(rèn)穩(wěn)定后再擴(kuò)大。從長期看尾延遲治理不是一次性項(xiàng)目。請(qǐng)求分布會(huì)變、流量模型會(huì)變、模型版本會(huì)換治理方案也需要持續(xù)調(diào)整。最穩(wěn)妥的起點(diǎn)永遠(yuǎn)是那三件成本最低的事情超時(shí)、有界隊(duì)列、先到先得的競速兜底。它們不解決所有問題但能幫你把“不可控的慢”變成“可感知、可攔截、可降級(jí)的慢”這一步做完整個(gè)系統(tǒng)就已經(jīng)穩(wěn)了一大半。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月婷婷久久激情 | A片一曲| 色九九九九| 九九婷婷综合| 在线成人国产| 欧美丰满熟妇BBB久久久| 免費观看aV在线网址| 婷婷五月情| 天天 青草 制服丝袜 在线| 岛国在线观看91| 激情久久久久久久久| 全网最新网黄大秀直播高清,主播国产录屏在线| 伊人综合网站| 秋霞A V毛片| 久久九九免费大视频| 91欧美日韩| 97香蕉碰碰人妻国产欧美| 五月天婷婷自拍图片在线观看| 超级碰碰碰久久网站视频| 五月丁香婷草| 中文av网| 99热6精品| 婷婷丁香久久| www999日韩精品| 色亚洲视频| 国产在线自| 色综合色色| 女高怪谈在线观看| 久久久久思思热| 99九九视频| 精品一区二区三区免费毛片爱| 久久久天天啊| 人人人舔人人人操人人人摸人人人97| 婷婷丁香久久五月综合| 日本女天天爽| www。狠狠干。com| 丁香六月综合激情| 4399在线观看免费毛片| 婷婷色六月| 国产毛片精品一区二区色欲黄A片| 爱婷婷都市激情| 啪啪啪五月天| 99热这里只有精品23| 九九色婷婷| 色婷婷综合在线| 亚洲第一成人无码A片| 五月丁香婷婷久久| 天天综合网91| 播播网色播播| 色五月激情网| 婷婷五月天香蕉| 99热老网站| 4399在线观看免费毛片| jiujiujiuwuyuetian| 色啪久| 丁香婷婷大香蕉| www色五月| 99视频在线观看网址| 亚洲综合婷婷六月丁香五月| 91久久婷婷人人澡草| 天天插综合在线| 日韩久久色| 香蕉中文在线| 婷婷五月电影| 99re最新地址视频| 五月婷婷天天色| 99热情这里只有精品在线播放| 久婷首页| 色色五月婷| 天天肏视奸| 九色视频九色九色91jiuseshipin| 亚洲丁香五月美女| 丁香五月成人社区| 99综合视频一体| 99热精品观看| 五月色婷婷中文字幕| 日本不卡一区二区三区| 婷婷性福五月天| 狠狠99| 天天做天天爱天天要| 伊人久久五月天| 97色婷婷成人综合在线观看| www.99视频| 午夜69成人做爰视频| 色色婷| 婷婷六月啪啪| 六月婷婷亚洲| 色视五月天婷婷| 国产 亚洲 在线| 玖玖资源站视频| 中文人妻主播久久| 久久丁香| 激情久久天天| 黄网在线播放| 亚洲精品久久久无码| 可以看的AV网站| 色情五月婷| 九九成年视频| 91操片| 玖玖爱导航| 日本天堂爱爱| 91xxxx九色| 五他月天啪啪啪| 亚洲有码在线视频| 亚州婷婷五月激情综合| www免费在线视频| 日本狠狠干| 99激情| 六月丁香五月天| 国产毛片精品一区二区色欲黄A片| 日本丁香五月婷婷| 日日色五月天| 无码人妻一区| 丁香桃色网| 人人操AV| 丁香六月啪啪| 日韩综合久久| 色色色无码| 亚洲色视频| 国产免费AV网站| 久久婷婷五月天| 精品人妻伦九区久久AAA片| 啪啪小说五月天| 99无码超碰| a69在线视频| 天天久| 天天射影院| 性色做爰片在线观看WW| 久久caop| 97伦色婷婷| 99热无码精品| 操逼在线视频| 色五月激情五月| 五月丁香六月婷婷啪啪| 国语精品探花| 99国产在线精品视频| 99久久综合网| VA五月激情在线| 婷婷欧美激情| 超级久久久| 狠狠色丁香婷婷基地| 丁香五月色五月婷婷宗合| 久久久精品色| 综合AV网| 五月激情婷婷六月| 影院久久久| 久久久久亚洲AV无码网影音先锋| 大香蕉 婷婷| 婷婷六月网| 99综合网| 秋霞电影理论| 操操操97| 日日骑夜夜撸| 亚洲精品一区无码A片| 久久国产高清| 99热热九九| 婷婷丁香人妻天天爽| 激情综合网五月婷婷| 五月天婷a在线| 婷婷色婷婷亚洲成人| 深爱五月亚洲| 色五月激情婷婷| 97人妻碰碰碰久| 色色色色色色97| 九热视频| av五月天婷婷丁香| 国产亚洲在线观看| 色色五月天丁香婷婷| 4438激情网| 9l视频自拍9l视频自拍九色学生| 狠狠se| 欧美日本一区二区三区| 九九热在线视频观看免费10| 日韩在线99| 亚洲激情综合色站| 亚洲无码11| 91操女| 久99久精品| 婷婷人人操| 久久综合激情| 色噜噜伊人| 亚洲综合欧美色丁香婷婷888月图片| 性爱电影科技贸易有限公司| 996黄色片| 丁香五月AV综合| 免费看欧美成人A片无码| 国产 A片 自拍| 日本综合久久| 婷婷色影音天| 91青娱乐青青草| 丁香五月香蕉在线| 久久丁香婷婷色情综合| 思思热在线视频观看精品| 大香蕉久久视频久久视频| 五月丁香拍拍激情综合| www.日韩国产| 六月婷婷狠狠做| 性爱综合网| 久狠狠| 六月丁香深深爱| 婷婷五月天影院| 丁香五月婷婷色五月| 日韩久久系列| 久久人妻精品| 这里只有精彩视频| 人人色性网| 超碰人妻公开在线| 亚洲精品操一操、噜一噜、摸一摸、爽 | 丁香午夜天| 激情九月婷婷| 99色在线观看视频者| 狠狠综合久久综合| 天天操天天日天天操| 伊人久久五月天| 婷婷五月骚厕所| 五月婷网| 精品99在线观看| 久久精彩视频99| 激情五月狠狠喔| 六月婷婷综合| 啪啪激情网站| 中文精品在| 五月天婷婷激情六月久久| 免费啪啪亚州视频| 大香蕉九操| 婷婷五月丁香狠狠| 天天久综合网永久入口18| 可以免费观看的AV| 五月丁香婷婷久久| 五月久久婷婷| 丁香九月综合激情| 婷婷射丁香| 伊人久久五月天| 超碰激情网| 亚洲日本激情| 综合九九中文字幕| 婷婷五月成人| 九九热大香蕉| 色五月AV| 婷婷五月激情欧美大胆视频| 丁香五月婷婷激情尤物| 成人片在线播放| 婷婷天天日婷婷| 成人在线精品| 午夜天堂一区人妻| 九九Av| 欧美久久一级内射wwwwww.| 国产一区二区av免费| 六月婷综合| 亚洲中文字幕在线观看| 黄网在线播放| 99热最新精品| 欧美色色色色色色色| 91人久| 色色操| wwwss在线观看| 亚洲无码另类| 亚洲综合色婷婷文学| 日韩黄色电影| 五月色丁香婷婷中文字幕| 婷婷五月六| 亚洲视频五区| 色yeye色综合| 五月婷网| 丁香五月另类小说| 丁香五月综合网亚洲综合欧美狠狠| 婷婷五月天成人网| 人人操91| 婷香五月激情视频| 久re热视频| 日韩丰满少妇无码内射| 亚洲小视频免费播放| 久久婷婷亚洲| 欧美成人无码一区二区三区| 3pAV| 天天干狠狠| 亚洲成人av中文| 丁香激情网| 夜夜干天天干| 在线视频婷婷| 激情综合网婷婷久久| 亚洲国产色色| 天天日天天狠狠操| 99婷婷五月天| 99久久婷| 色欲影香| 99这里的视频都是精品| 五月丁香六月色情网欧美| 99性爱视频| 91男同| 99热99这里有免费的精品| 26uuu四色| 99色免费视频| www色五月| 国产精品99久久久久久久女警| 成人做爰黄A片免费看直播室男男 久草热8精品视频在线观看 | 99热天堂| 九色91国产| 丁香久久五月婷综合| 99丁香五月| 色婷婷六月精品| 视色综合| 99热天堂| 91热在线观看视频| 91丨九色丨43老版熟女| 好激情在线综合网| 99精品视频免费观看| 婷婷五月丁香性爱| 狠狠大香婷婷爱| 九九Av| 中文字幕+中文在线| 亚洲春色奇米影视| 插逼综合网| 国产成人综合在线| 婷婷久久午夜网| 色色色综合网| 欧美精品999| 国产欧洲欧洲精品久久| 久久A热| 99国产97在线,| 久久久久久综合五月婷婷| AA片在线观看视频在线播放| 五月天激情美女久久| 婷婷视频网| 99re思思| 色五月婷婷五月天| 在线1青婷| 91碰碰视频在线观看| 五月丁香六月婷婷欧美综合| 欧美色男人网站| 激情小说婷婷五月| 久久综合九九| 九九久久99精品免费观看www| 就是色婷婷五月亚洲色| 野战J办公桌椅H| 日韩一区二区三区无码| 午夜成人综合| 久热只有精品| 开心五月婷婷五月| 久久亚洲激情五码| 97人妻碰碰中文无码久热丝袜| 五月婷婷丁香成人网| 97人人看| 婷婷色正月| 91人人超碰在线| 综合视频久久| 久草xx性爱视频| 丁香五月婷婷超碰在线| 天天色粽合合合合合合合| 亚洲精99| 99久久高清视频| www狠狠| site:publishdd.com| 婷婷色在线播放| 另类 在线| 欧美狠狠草| 北条麻妃伊人| 亚洲丁香网| 最新日韩久热免费视频看看| 中文字幕av在线播放| 婷婷开心综合人妻小说网址| 男人天堂99| 国产毛片精品一区二区色欲黄A片| 五月天亭亭俺也| 色99自拍| 亚洲日本韩国| 国产午夜精品一区二区三区四区| 欧美成人热| 亚洲乱啪| www.成人婷婷综合| 26uuu国产精品| 久99热在线观看| 婷婷五月天色色| 久狠狠狠| 五月天婷婷激情小说电影| 91超碰在线观看| 九月丁香| 国产一区二区av免费| 久久五月丁香| 六月丁香五月天| 九色PORNY9l原创自拍| 97人人做| 小视频久久久aaa| 婷婷五月激情网| 青草少妇激情| 精品无码人妻一区| 久热免费| 天天操无码| 超碰97在线观看免费| 极品人妻VIDEOSSS人妻| 午夜成人AV在线| 99热在线观看| 婷婷中文字幕版| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 综合激情婷婷| 久99久热| 色色色色综合网| 五月天堂婷婷| 激情婷婷黄色五月| 中文字幕在线免费看线人| site:wpjngj.com| 国产精品色色| 情婷婷五月天| 五月天婷婷色五月天| 成人国产欧美大片一区| 99精品在线观看视频| 五月天色婷婷小说| 婷婷的99视频网站| 91在线操逼视频| 婷婷五月天高清无码| 91超级碰碰| 久久宗合影| 久9热在线免费观看| 五月婷婷综合视频| 五月天激情婷婷小说| 99综合一区| 狠狠干狠狠色| 91碰碰视频| 97色色色| 五月亭亭狠狠| 26uuu国产色| 性天天中文网| 狠狠色五月| 99噜噜噜在线播放| 日本99热| 五月天伊人日日噜影片AV| 五月激情久久| 91/九色黑人| 久色激情| AV大香蕉| 超碰99热在线观看| 综激情网| 淫视馆aV二区一区| ...婷婷国产成人亚洲日韩| 欧美色图天堂网色| 日韩久热| 亚洲色五月| 丁六月激情| 欧美色图45678| 亚洲婷婷丁香| 久久九色| 伦乱美欧| 天天日天天干天天插天天射| 五月丁香在线观看| 久久婷婷五月天大香蕉| 91chinese在线| 色婷婷免费视频| 五月天综合视频| 色播丁香婷婷五月激情| 亚洲电影中文字幕| 99自拍视频网站| www.zbzhongsen.com| 99久久99久久综合| 日本精品。999| 91人人超碰在线| 99热这里有精品24| 五月天伊人日日噜影片AV| 99色| 综合99在线| 亚洲婷婷丁香五月视频| 久久草人妻| 丁香五月网络网络| 日韩 mm 不卡| 激情五月婷婷她| 1级欧美日韩| 激情婷婷丁香色五月| 狠狠干夜夜干| 99热精品免费| 狠狠草在线观看| 天天影视色综合网| 婷婷五月天开心网| 五月综合亚洲| 色色无码日韩| 亚洲爱婷婷| 五月丁香中文婷婷中文| 五月天色色色网| 亚洲操女| 97人人操| 大香蕉久久久| 天天爽夜夜操| 婷婷色中文字幕| 天天操综合网| 操大屄五月天视频| 天天干天天干天天| 99热精品在线| 狠狠操狠狠插| 先锋男人91资源| 秋霞日本免费毛片A片| 2021日韩无码| 五月丁香影院| 九色色| 超碰97干| 国产精品久久久久久久久久 | 成人小说 五月天 婷婷| 丁香五月天欧洲在线| 色色色色色五月丁香| 婷婷香草网| 雪千夏麻豆| 五月丁香啪啪伦理电影| www.五月.com| 被男人添B超爽视频| 天天久久九九| 天天爽天天日| 六月激情婷婷综合| www.精品99| 九色91国产| 九九aV| 久久婷婷五月综合成人d啪| 色屌丝中文字幕| 亚洲成人超碰| 五月天激情久久| 丁香婷婷超碰 | 国产av网| 色播播五月| 亚洲不卡123| 妻久久久久| 六月丁香五月婷婷| 天天射影院| 婷婷丁香婷婷97| 激情五月激情综合网| 婷婷99狠狠| www.com在线操视频免费观看| 亚洲第一综合| yazhou seshipin| 大伊香蕉精品视频在线| 99re热| 久草天堂| 激情小说五月天社区丁香| 99热国产这里只有精品| 婷婷五月伦理| 五月丁香婷婷啪啪网| 日本在线99| 超碰人人干| 婷婷五月色综合香五月| 五月丁香啪啪综合| 五月丁香久久综合精品| 色444综合网| 五月婷婷丁香| 亚洲人妻Av| 婷婷五月天激情综合婷婷五月天激情综合 | 任你日视频| 国产av基地| 丁香五月婷婷av| 5月丁香综合网| 97碰 在线视频观看| 九九热最新| 久久精品小视频| 久久99精品日本| 婷婷五月婷婷| 9久久久久| 人妻人人操| 五月婷婷网站| 丁香五月激情天AV无码| 五月综合久久| 日本在线视频播放91| site:wpjngj.com| 人人操插| 热中文字幕| 六月婷伊人| 91热网址| 激情五月综合色婷婷| 久久机热这里只有精品免费视频| 另类视频在线| 激情图片99| 五月天久草| 黄色片avv| 乱乱av| 国产SUV精品一区二区6| 中字幕视频在线永久在线观看免费| 天天插天天干| 日韩在线一级| 天天干狠狠| 婷婷六月激情| www.色9| www夜夜操| 丁香五月婷婷在线| 香蕉AV福利精品导航| 色999五月色| 99热9| 婷婷五月天av| 五月婷婷黄色网址| 色婷六月| 色吊丝永久访问网址| 4438亚洲欧美| 激情玖玖sh| 天天干天天拍| 久久xxxx| 少妇人妻人伦A片| 涩综合婷婷| 亚洲色无码| 丁香婷婷大香蕉| 欧美天天草人人草| 狠狠人妻色综合| 色九月婷婷| 五月天综合在线网| 激情婷婷99| 婷婷五月网图片区| 视频综合网| 日日噜狠狠色综合久久| 五月天婷婷网站888| 99亚州综合精品成人网| 欧美日本韩国亚洲| 六月婷婷啪啪| 五月天婷婷开心| 激情五月婷婷丁香| 精品影院| 国产白丝在线一区| 日夜夜久久| 五月香婷婷| 色婷天天| 婷婷五月精品在线| 人妻久久久久久久 | 天天肏夜夜肏| 99热在线观看| 激情综合网五月丁香| 国产亚洲精久久久久| 久久综合激情| 深爱激情五月天| 999精品久久久久久久| 欧美大香蕉视频| 欧美色色色色色色色| 欧美日韩中文国产一区发布| 99riAv1国产在线观看| 六月婷婷无码| 人人摸人人| 六月婷婷色综合| 99久久偷拍视频| 久久精品国产色| 大香蕉天堂| 五月丁香婷婷狠狠操| 大香人妻| 色噜噜婷婷| www.91色| 久久久久9999| 亚洲综合色色| yjzz亚洲国产| 五月天另类小说久久小说网| 91在线视频观看午夜福利| 丁香五月影院| 五月婷婷影院| 丁香熟女乱| 九九在线这里只有精品视频| 欧美成人AAA片一区国产精品| 开心五月六月婷婷| 99精品成人无码A片观看金桔| 97色色色| 久久视频在线视频| 天天操天爱综合| 久久久久久久11111111111| 中文不卡一二三区| 国产精品 的国产| 6080av| 狼人婷婷久久| 中文字幕在线不卡| 欧美性猛交AAAA片黑人 | 天天在线天天综合网色| 五月天小说激情| 丁香五月天婷婷激情| 丁香六月婷婷综合激情欧美| 99热这里只有精品5| 六月婷婷狠狠| 日本一级大片| 九九热免费视频| 天天撸天天干天天插| 影音先锋偷偷色男人站| 天天爽夜夜操| 91丨九色丨熟女丰满| 91碰碰| 天天肏在线| 色噜噜狠狠色综合日日| 日日夜夜青青草| 影院久久久| 很很干天天干| 日本色视| 婷婷五月激情图片| 婷婷丁香日韩五月| 激情五月丁香社区| 婷婷成人小说综合| 久久XX| 久在线综合69| 丁香五月电影| 色婷婷亚洲六月婷婷中文字幕| 久久98热re| 99热这里只有精| 激情亚洲网| 色欲婷婷五月天| 在线播放成人| 麻豆AV一区二区三区| www.五月婷婷| 狠狠五月天| 久久99热这里只有精品23| 色约约视频一区二区三区四区五区| 91九色视频| 亚洲色情网站| 五月天婷婷乱| 五月天久久婷婷婷| 青青热视频| 色九九一二| 人妻激情久久| 涩涩五月天| 大香蕉520| 中文字幕婷婷| 大香蕉综合网| 九九色大香蕉| 777.色色| 狠狠色综合精品视频在线| 久热伊人在91| 亚洲av无码精品色午夜| 人妻操日日| 欧美日本不卡黄色片| 亚洲六月综合激情久久下卡| 99热这里都是精品| 三级三久久线久久99久目本WW| 丁香五月六月婷婷综合| 天堂久久精品| 久久三级视频| 99ri精品| 久久久99精品免费观看| 婷婷五月综合基地| 六月丁香开心婷婷欧美| 婷婷玖玖五月天| 欧美99视频| 五月天大香蕉| 色综合开心五月深爱五月| 婷婷五月丁香五月天| 国产色色色色| 99热综合色图| 综合网色| 怡红院AV亚洲一区二区三区H | 欧美久久网| 99热精品中文字幕| 99热精品在线播放| 婷婷热婷婷色| 天天综合五月| 无码人妻丰满熟妇奶水区码| 婷婷丁香五月天操逼| 性爱网五月天| 丁香五月婷在线观看| 99热精品观看| 五月久久婷婷| 丁香婷婷综合激情五月色| 夜夜谢天天干| 久久六月天| 玖玖色综合色| 色欲影香| 人人玩人人橾| 99热资源在线| 9色天堂| 这里只有精彩小视频视频网站| 5月丁香综合网| 亚洲五月天另类小说图片| 97色色视频| 婷婷六月综合在线| 天天日天天舔| 影音先锋 萱萱| 欧美99热| 99热地址| 超碰人人妻| 六月婷婷七月丁香| 翔田千里 50岁 无码| 九九婷| 99视频自拍| 色色亚洲视频| 五月丁香久久激情综合| 六月综和久久| 麻豆AV一区二区三区| 欧美日比视频| 天天爽天天| 97色精品视频| 丁香五月天激情四射网| 亚洲操B| 色色九区| 97碰碰视频在线观看| 成人啪啪色婷婷久| 日本色色色| 免费观看2018www黄色操逼网站| 中文在线视频久1| 日韩有码一区| 色婷婷综合视频| 91精品婷婷国产综合| 天天操,夜夜骑| 国产3p露脸普通话对白| 这里只有精品视频在线| 天天综合网~91| 26uuu亚洲色| 丁香五月婷婷啪| 碰超亚洲| 五月天婷婷色综合| 麻豆雪千夏| 热99.com婷婷| 久青草影院| 日韩精品超碰在线观看| 亚洲AV人人操| 天天插天天插天天日| jiZZdr| 五月婷婷六月爱| 婷婷五月成人社区| www.婷婷.com| 色综合天堂| 久久色情| 欧洲亚洲激情五月天在线| 五月综合激情啪啪啪啪啪| 五月开行婷婷色五月| 五月婷婷国产| 思思精品视频| a v色婷婷| 久热伊人在91| 五月婷视频| 激情5月天天天| 伊人狠狠丁香婷婷综合尤物| 五月激情影院| 思思热在线视频精品| 激情五月,色五月| 久久五月丁香综合| 久久草中文日韩欧美| 开心深爱五月天| 中文久久婷婷| 性生生活大片又黄又| 色色色在线观看| 六月婷婷影院| 中文字幕成人| 亚洲啪| 亚洲激情综合| 五月丁香啪| 婷婷色色综合激情| 国产精品成人AV在线| 丰满少妇猛烈A片免费看观看 | 欧美大片免费播放器| 俺去也综合| 另类激情五月| 國語久久婷| 超级碰碰碰久久网站| 中文字幕网伦射乱中文| 久久婷五月| 五月婷婷丁香| 五月在线| 99爱无码| 可以直接看的AV网站| 玖玖资源部在线播放| av在线免费播放| 五月丁香另类图片| 综合久久久| av最新在线| 午夜福利成人AV91| 五月天婷婷色综合| 亚洲三A| 亚洲五月天天| av国产精品偷| 婷婷五月电影| 狠狠综合网| 99色色热热| 欧美日本VA| 色婷婷五月天中文字幕| 国产激情久久久| 高清视频一区| 婷婷五月69| 九九热这里只有精品7| 婷婷导航| 婷婷久久夜| 色婷婷国色天香综合| 精品人妻久久久| 国际国外精品欧洲南美洲专区无码不卡| 久久婷婷六月| 涩涩网五月天| 色色色综合色| 色玖玖爱| 白人荫道BBWBBB大荫道| 99热在线极品极品| 超碰2021| 99色综合网| 超碰精品手机在线| 欧美色性色好| 亚洲乱码精品久久久久.. | .comwww在线观看免费操| 色婷婷国产精品综合在线观看| 激情第四色| 日韩视频99| 婷婷香蕉香| 久久多色| 99在线观看| 五月婷婷婷| 香蕉综合网| 天天色天天操天天射| 久久精品五月天| 好好日激情五月天| www.色五月| AV片一区在线观看| AV在线中文| 99精品视频播放| 婷色视频| 色综合综合色| 丁香五月偷拍| 久久免费操| www,婷婷五月天777me,com| 97av在线视频| 婷婷丁香先锋资源网站| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 9.1综合网| 五月丁香亚洲综合| 日本色99网站| 成人噜噜网| 五月天 无码| 日本黄色三级片内射| 任你爽视频| 色天堂在线| 一起草aV| 婷婷六月亚洲综合| 97在线日本| 密桃激情五月天综合网| 久久婷婷综合五月天| 永久思思热在线| 五月色婷婷影院| 影音先锋91资源站| 超碰高清在线| 91九色欧美| 丁香五月六月婷婷综合| 亚洲人成网站999综合| 伊人婷婷五月| 丁香五月婷婷综合激情啪啪啪啪啪啪啪 | 丁香午月AV中文字幕| 玖玖资源在线视频| 91se在线视频| 色五月婷婷网| 黄色99视频| 120分钟婬片免费看| 五月丁香成人日| 激情综合网激情五月天| 激情综合另类| 青青草原爱爱网| 欧美婷婷成人| 极品九九九九九九| 狠狠色婷婷| 亚州激情在线视频| 婷婷五月综合免费在线| 一级二级色大片| 婷婷五月丁香啪啪| 国产五月视频| 色五月丁香伊人| 另类激情码| 开心激情综合| 久久综合激情| 人妻丰满精品一区二区A片| 桃色激情婷婷伊人网| 国产精品久久..4399| 99热乎| 狠狠ri| 夜夜躁婷婷AV| 99热自拍| 91精品激情9| 91婷婷色五月| 97婷婷丁香五月| 91网站黄| www.夜夜| 涩综合网| 久久婷婷色五月| 99热欧美| 激情五月婷婷她| 思思热在线视频精品| 色五月丁香五月婷婷五月成人网| 久操大| 日本精品人妻无码77777| 影音先锋天天日| 精品婷婷五月天| 人操人人| 国产97在线日韩亚洲女人被黑人巨大| 色天堂在线| 久久久久久久久久人妻| 综合色播| 狠狠狠狠青草| 成人综合网站| 五月天激情电影| 91精品无码| 久久久久久性爱视频| 99热大片| 天天日日天天| oumeisesewang| 99精品色色| 国产视频福利| 国产性爱一级| 青青草婷婷久久| 九九九九热99超碰| 五月丁香色停停啪啪啪| 五月婷婷操操| 精品夜夜澡人妻无码AV| 狠狠色丁香| 99re热在线视频| 五月丁香婷婷在线| 激情五月综合网最新| 综合久久影院| 久久激情五月婷婷| 97干在线| 五月丁香啪啪网| 精品成人久久久久久久_一二三四视| 伊人婷婷大香蕉| 色婷婷小说| 五月丁香啪啪| 国产古装妇女野外A片| 99国产精品久久久久久久久久久| 一本大道熟女人妻中文字幕在线| 99精品国产乱码久久久人妻| 色综合久久久无码中文字幕999| 全部老头和老太XXXXX| 久久久97| 国产欧美大香蕉一区| 五月Huangsewang| 十二区无码| 人人插9| 啪啪婷婷五月天激情| www.五月激情红色| 婷婷玖玖五月天| 99在线精品观看99| 玖玖色综合色| www.综合久久.com| 婷婷色色五月| 日韩av干| 久九色| 五月婷婷 婷婷五月 一区二区 久久久 | 97在线精品| 手机在线视频观看9| 九九热九九| 久久精品亚洲一级牲爱综合| 无码99| 日本综合久久| 色丁香五月婷婷综合久久| 九九精品99| 久久这里有精品在线观看| 六月激情网| 丰满少妇乱A片无码| 国产欧美第五十五页| 亚洲五月天婷婷综合| 影视av久久久噜噜噜噜噜三级| 久久xxxx| 久久久婷婷五月亚洲97号色| 色六月丁香婷婷狠狠干| 99久久免费性爱视频`| 久久色情综合免费网站| 狠狠一日| 99小视频在线| 日本在线视频www色| 久久成人亚洲欧美电影| 深爱激情四射| 九九综合九九| 五月天色站| 去干网最新版本亚洲版| 大香蕉九九| 99热偷拍| 天天色视频| 五月激情久久| 丁香五月开心婷婷| 99国产精品白浆在线观看免费| 999热在线视频| 狠狠色综合网| 91色逼| 亚洲成人av在线| 色色色香蕉五月婷| 色色网站免费观看| 午夜天堂一区人妻| 色小说婷婷五月天天天| 亚洲操B| 久久最新色色色| 成人在线精品| 婷香狠狠爱五月| 超碰国产在线观看| 久久思思99| 五月天成人免费视频| 玖玖无码中文| 五月丁香色综合| 色五月久久成人婷婷| www.玖玖九| 五月色丁香视频精品| 久久婷婷的综合色丁香五月| 99免费| aaa丁香五月天| 涩五月婷婷| 丁香欧美| 精品99视频| 精品久久99码| 丁香五月天社区婷婷| 色停停香蕉视频| 五月丁香激情片| 刘玥精品一区| 婷婷色网站| SS丁香五月婷婷| 9久久精品视频| 拍真实国产伦偷精品| 97韩国久久电影院| 99色干| 热日韩欧美| 色婷婷婷婷| www色中色综合| 91久操| 欧在线一区| 婷婷六月丁香五月| 婷婷丁香五月亚洲| 天天日天天狠狠操| 六月丁香啪| 天天碰夜夜操| 中文字幕综合| 国语精品探花| Av性爱网站| 操逼三区| 天天操天天干天天射| 另类视频五月天| 婷婷丁香五月综合免费视频百花| 亚洲成色综合网站免费观看| aaa久久| 六月婷欧美丁香综合| 超碰在线91| 久久九九网| 99re视频精品| 99热香港| www色婷婷久久综合久色 | 久久码久久无清| 99热xx| 99国产精品久久久久久久久久久| 99精品久久久久| 开心激情婷婷| 欧美成人网99网| 欧美日韩大黄| 久久女婷| 色综合中文色综合网| 另类婷婷五月天啪帕帕| www.超碰97| 中文av网| 性99网站| 九九热免费| 欧美色五月天| 伊人五月人妻精品| WWW.亚洲无码| 怎么样可以看免费的一级av| 风流少妇A片一区二区蜜桃| 激情小说五月天| 99热手机在线精品| 丁香五月社区| 啪啪啪大香蕉| 天天日天天色| 色欧美色色色| 婷婷色五月综合| 99热很操老逼| 婷婷五月精品中文| 综合 蜜月 婷婷| 欧美精品啪啪| 天天艹天天综合网| 日韩人妻无码专区| 26uuuavcom| 99视频在线精品免费观看2| 婷婷娌伦网| 五月天成人综合| 国产特级毛片AAAAAAA高清| 国产九月婷婷| 超碰在线观看成人视| 激情啪啪五月| 美女婷婷六月色| 亚洲婷婷激情五月天| 色五月成人| 五月综合视频| 久久免费少妇高潮99精品| 激情五月天综合网| 月婷婷亚洲| 欧美色97| 大地9中文在线观看免费高清| 丁香97综合| 久久婷婷网站| 日本一级黄色片。| 久久婷婷国产| 开心久久爱五月天| 五月天色社区| 五月丁香| 97艹| 艾小青av| 九九伊人网| 色天堂A| 99综合激情久久精品久久| www.天天干| 玖玖玖婷婷婷| 亚洲久久视频| 日夜操B| 能看的av| 色五月丁香com| 欧美婷婷六月丁香综合色| 五月天婷婷爱| 久久99最新地址| 中文字幕在线资源| 丁香五月婷婷在线| 91麻豆国产三级精品福利在线观看 | 99亚州综合精品成人网| 丁香熟女乱| 天天干、天天日日| 99无码精品| 六月丁婷婷| 思思热精品在线| 无码地址| 亚洲综合色色| www.久久久久| www.99热| 五月婷视频久久| 婷婷97| 久久婷五月婷| 五月花免费视频| 啪啪91| 色色亚洲| 9久热这里只有精品视频| 欧美日韩中文国产一区发布| 最新午夜理论片| 国产精品天天狠天天看| 五月婷婷开心色伊人| 婷婷香草网| 国产99视频永久免费| 国产真实乱了老女人视频| 亚洲性爱干干| 久热这里只有精品在线观看 | 五月婷婷丁香伦理网| 少妇高潮呻吟A片免费看软件| 亚州激情网| 五月婷婷色色爱| 自拍盗摄 另类| www99久久| 超碰chaompinm| 99精品视频在线免费观看| 97夫妻超碰| 久久久久久五月天| 国产老熟妇亲子乱对白| 夜夜爽天天爽| 丁香六月婷婷姐网| www.婷婷,com| 91啪啪| va亚洲中文在线| 色婷婷A| 久久性爱99国产| 伊人网啪啪| 99热 免费| 日韩有码久久| 日批在线看| 99乱视频| 99人妻碰碰久久久禁片| 黄色激情五月天| www.夜夜操.con| 中文AV在线观看| 另类小说五月天| 天天操婷婷| 五月丁香六月情亚洲| 99热9| 丁香婷婷婷| 五月天丁香网| 激情小说婷婷| 青青草原99热| 日韩三级片一区二区| 久天综合| 色五月,婷婷大香蕉| 日本女色人人| 香蕉久久国产AV一区二区| 亚洲男女激情| 五月婷婷综合色啪首页| 色五月婷婷五月丁香五月激情五月视频| 婷婷狠狠青青| 五月日韩中文字幕| 五月婷婷色| 超碰9| 色五月五月天色婷婷色五月| 五月丁香婷婷AV天堂| 91操人视频| 婷婷的99视频网站| 久久婷婷啪啪视频| 色五月欧美| 色狠狠色综合久久久绯色AⅤ影视 大香蕉五月天婷婷丁香91 | 久久五月六月|