評(píng)測(cè)實(shí)戰(zhàn)：語音交互場(chǎng)景下的首 token 延遲測(cè)量與優(yōu)化)
在實(shí)際語音交互和實(shí)時(shí)智能體項(xiàng)目中模型推理 API 的“首 token 延遲TTFTTime To First Token”往往是決定體驗(yàn)好壞的關(guān)鍵指標(biāo)卻經(jīng)常被總延遲或每秒輸出 token 數(shù)掩蓋。用戶問一句“幫我查一下明天的會(huì)議安排”如果系統(tǒng)過了 2 秒才開始吐字不管后面輸出多快對(duì)話體感都會(huì)被判定為“卡、慢、遲鈍”。本文圍繞 TTFT 展開一套可復(fù)現(xiàn)的推理 API 基準(zhǔn)評(píng)測(cè)方法從概念定義、測(cè)量邊界、腳本實(shí)現(xiàn)到參數(shù)分析和常見坑排查幫助你在語音場(chǎng)景里用“首字速度”而不是“總時(shí)長(zhǎng)”來選型和評(píng)估推理 API。1. 實(shí)時(shí)語音與智能體場(chǎng)景為什么必須單獨(dú)看 TTFT1.1 TTFT 的直觀含義與技術(shù)定義TTFT 的全稱是 Time To First Token中文可以理解為“從請(qǐng)求發(fā)出到生成出第一個(gè) token 的時(shí)間”。在流式推理接口中客戶端發(fā)起一次對(duì)話請(qǐng)求后服務(wù)端不是等全部?jī)?nèi)容生成完才返回而是先返回一小段增量數(shù)據(jù)再持續(xù)返回后續(xù)內(nèi)容。這段從請(qǐng)求發(fā)出、到客戶端收到第一個(gè)有效 token 數(shù)據(jù)的時(shí)間間隔就是 TTFT。從技術(shù)鏈路看TTFT 通常包含這些部分客戶端發(fā)起請(qǐng)求到服務(wù)端接收請(qǐng)求的網(wǎng)絡(luò)時(shí)間。服務(wù)端完成請(qǐng)求解析、鑒權(quán)、路由的時(shí)間。模型推理引擎執(zhí)行 Prefill預(yù)填充階段、處理完整輸入提示詞的時(shí)間。調(diào)度器排隊(duì)的等待時(shí)間。第一個(gè)增量響應(yīng)返回客戶端的網(wǎng)絡(luò)時(shí)間。和它經(jīng)常一起出現(xiàn)的是 TPOTTime Per Output Token每個(gè)輸出 token 的平均耗時(shí)。TTFT 描述的是“開口之前要等多久”TPOT 描述的是“開口之后每秒能說多快”。語音場(chǎng)景里兩者缺一不可但優(yōu)先級(jí)的排序要看具體交互形態(tài)。1.2 語音交互里“首字卡頓”比“總時(shí)長(zhǎng)”更致命人在語音對(duì)話中的等待容忍度遠(yuǎn)低于文字閱讀。文字接口即使第一屏加載慢一點(diǎn)用戶還可以接受語音對(duì)話一旦出現(xiàn)明顯的“沒反應(yīng)”窗口用戶會(huì)覺得設(shè)備壞了、系統(tǒng)沒聽懂或者直接重復(fù)提問。這種現(xiàn)象在交互設(shè)計(jì)里通常被歸為“感知延遲”問題真正決定體驗(yàn)的不是后臺(tái)生成完整回答用了多少秒而是從用戶停止說話到系統(tǒng)發(fā)出第一個(gè)聲音之間有多久。在一個(gè)典型的實(shí)時(shí)語音智能體流水線中完整的響應(yīng)鏈路往往是這樣ASR 語音識(shí)別模塊把用戶語音轉(zhuǎn)成文本。語義判斷或 Agent 編排模塊決定下一步動(dòng)作。LLM 推理 API 生成回答文本。TTS 語音合成模塊把文本變成音頻并播放。TTFT 對(duì)應(yīng)的是第 3 步中“第一批文本出來”的時(shí)間。它雖然只是整個(gè)鏈路中的一段卻往往是變數(shù)最大的一段。ASR 和 TTS 的延遲相對(duì)穩(wěn)定模型推理服務(wù)在排隊(duì)、批處理、Prefill 上的波動(dòng)卻可能從幾百毫秒放大到幾秒。因此在評(píng)測(cè)語音智能體時(shí)單獨(dú)拆出 LLM 推理環(huán)節(jié)的 TTFT能幫助定位“到底是識(shí)別慢、生成慢、還是合成慢”。1.3 TTFT、TPOT 與端到端延遲的分工一次完整響應(yīng)的總耗時(shí)可以粗略表示為總延遲 ≈ TTFT TPOT × 輸出 token 數(shù) TTS 合成與播放延遲這個(gè)公式說明同樣的總延遲背后可能有完全不同的原因如果 TTFT 高、TPOT 正常說明問題在“首字等待”要檢查網(wǎng)絡(luò)連接、排隊(duì)、Prefill、服務(wù)端負(fù)載。如果 TTFT 正常、TPOT 高說明模型每生成一個(gè) token 都偏慢要檢查推理引擎的 Decode 階段性能、量化方式、并發(fā)配置。如果總延遲高但 TTFT 和 TPOT 都正常問題可能出在輸出長(zhǎng)度、TTS 合成速度或播放緩沖上。所以評(píng)測(cè)時(shí)不要只報(bào)一個(gè)“平均響應(yīng)時(shí)間”。正確做法是同時(shí)記錄 TTFT、TPOT、總延遲和輸出長(zhǎng)度再根據(jù)語音交互形態(tài)決定優(yōu)先優(yōu)化哪一個(gè)。2. 設(shè)計(jì)一次可復(fù)現(xiàn)的 TTFT 基準(zhǔn)評(píng)測(cè)2.1 先劃定測(cè)量邊界客戶端視角還是服務(wù)端視角TTFT 的測(cè)量位置不同數(shù)值含義完全不同?？蛻舳艘暯堑?TTFT是從客戶端發(fā)出 HTTP 請(qǐng)求開始到客戶端收到第一個(gè)攜帶生成內(nèi)容的流式數(shù)據(jù)為止。它直觀反映用戶體感但夾雜了網(wǎng)絡(luò)延遲、TLS 握手、DNS 解析、客戶端解析框架開銷等因素。服務(wù)端視角的 TTFT則是從服務(wù)端收到請(qǐng)求、完成內(nèi)部處理并發(fā)出第一個(gè) token 的時(shí)間能反映模型推理服務(wù)的真實(shí)處理速度。做基準(zhǔn)評(píng)測(cè)時(shí)至少要明確記錄“測(cè)的是哪一段”。如果是為了對(duì)比多個(gè)推理 API 供應(yīng)商客戶端視角更有用因?yàn)橛脩糇罱K感受到的就是這個(gè)值。如果是為了調(diào)優(yōu)自建推理服務(wù)服務(wù)端視角更能定位引擎本身的瓶頸。推薦做法是同時(shí)記錄三個(gè)時(shí)間點(diǎn)t_send客戶端開始發(fā)送請(qǐng)求的時(shí)間。t_received客戶端收到第一個(gè) token 數(shù)據(jù)的時(shí)間。t_complete客戶端收到全部響應(yīng)的時(shí)間。由t_received - t_send得到客戶端 TTFT由服務(wù)端日志中的相同請(qǐng)求 ID 可以反查服務(wù)端處理開始時(shí)間從而算出網(wǎng)絡(luò)和其他開銷。2.2 固定評(píng)測(cè)變量模型、提示詞長(zhǎng)度、并發(fā)和流式開關(guān)TTFT 不是一個(gè)固有屬性它隨請(qǐng)求內(nèi)容變化而變化。做橫向?qū)Ρ葧r(shí)必須把無關(guān)變量固定住否則測(cè)出來的差距無法歸因。需要固定的變量至少包括評(píng)測(cè)變量為什么會(huì)影響 TTFT建議固定方式模型版本不同模型的參數(shù)量、架構(gòu)、量化方式差異巨大所有對(duì)比都指向同一個(gè)確認(rèn)可用的模型版本提示詞長(zhǎng)度Prefill 階段要處理完整輸入輸入越長(zhǎng) TTFT 越高使用相同長(zhǎng)度、相同內(nèi)容的提示詞模板輸出長(zhǎng)度上限一般不影響首 token但會(huì)影響內(nèi)部調(diào)度預(yù)分配固定 max_tokens例如 200并發(fā)數(shù)排隊(duì)和批處理會(huì)明顯放大 TTFT分別測(cè)單并發(fā)、10、50 等固定檔位流式開關(guān)非流式接口必須等全部生成完才返回評(píng)測(cè)語音場(chǎng)景時(shí)統(tǒng)一使用 streamtrue測(cè)速客戶端位置離服務(wù)端越遠(yuǎn)網(wǎng)絡(luò)部分占比越高固定同一地域的測(cè)試機(jī)時(shí)間窗口高峰時(shí)段和低峰時(shí)段服務(wù)端負(fù)載不同同一時(shí)間段內(nèi)完成對(duì)比提示詞長(zhǎng)度特別值得注意。同樣的推理 API輸入 50 個(gè) token 和輸入 2000 個(gè) tokenTTFT 可以差出幾倍。語音智能體的請(qǐng)求往往帶有歷史對(duì)話、上下文壓縮結(jié)果、工具調(diào)用結(jié)果提示詞可能很長(zhǎng)。因此基準(zhǔn)評(píng)測(cè)要模擬真實(shí)請(qǐng)求形態(tài)把歷史對(duì)話和系統(tǒng)提示詞放在同一個(gè) messages 數(shù)組中而不是用一個(gè)“你好”做代表。2.3 評(píng)測(cè)樣本數(shù)與統(tǒng)計(jì)口徑TTFT 屬于高波動(dòng)指標(biāo)單次請(qǐng)求的數(shù)值幾乎沒有參考價(jià)值。網(wǎng)絡(luò)抖動(dòng)、服務(wù)端冷啟動(dòng)、負(fù)載均衡策略都會(huì)造成單點(diǎn)異常。規(guī)范做法是單并發(fā)場(chǎng)景至少測(cè) 30 到 50 次。并發(fā)場(chǎng)景每次持續(xù) 60 秒以上。報(bào)告平均值的同時(shí)必須報(bào)告 P50、P95、P99。明確剔除 warm-up 請(qǐng)求也就是評(píng)測(cè)前先發(fā)幾次請(qǐng)求讓服務(wù)端完成鑒權(quán)緩存、模型加載、連接池預(yù)熱。統(tǒng)計(jì)口徑上語音場(chǎng)景更關(guān)注高百分位而不是平均值。P95 和 P99 代表最差情況下用戶會(huì)不會(huì)明顯感到卡頓。平均值低但 P99 很高說明服務(wù)穩(wěn)定性不足不適合承載實(shí)時(shí)語音。2.4 評(píng)測(cè)環(huán)境需要分開準(zhǔn)備學(xué)習(xí)環(huán)境和生產(chǎn)環(huán)境的評(píng)測(cè)目標(biāo)完全不同。學(xué)習(xí)環(huán)境通常是本地 PC可能用 Ollama、vLLM 或者一個(gè)小型量化模型。這個(gè)階段的評(píng)測(cè)主要為了理解 TTFT 的影響因素幫助新手掌握測(cè)量方法。本地環(huán)境的網(wǎng)絡(luò)開銷很小測(cè)出來的 TTFT 更接近模型推理本身的耗時(shí)但硬件條件有限時(shí)CPU 推理和 GPU 推理的差異會(huì)被放大。生產(chǎn)環(huán)境則要針對(duì)真實(shí)流量形態(tài)做壓測(cè)。測(cè)試機(jī)盡量放在與用戶相近的網(wǎng)絡(luò)區(qū)域請(qǐng)求內(nèi)容使用真實(shí)對(duì)話樣本的脫敏版本并發(fā)檔位覆蓋高峰水平并且要在服務(wù)端日志和監(jiān)控面板同時(shí)記錄指標(biāo)用于交叉驗(yàn)證。不要在開發(fā)機(jī)上用 localhost 測(cè)出數(shù)據(jù)就直接評(píng)估線上 API兩者之間隔著網(wǎng)絡(luò)、負(fù)載均衡和跨地域路由TTFT 可能差出一大截。3. 用 curl 和 Python 腳本測(cè)量首 token 延遲3.1 先用 curl 做一次連通性探測(cè)在寫完整評(píng)測(cè)腳本之前先用 curl 確認(rèn)接口能不能流式返回順便觀察首包到達(dá)情況。以兼容 OpenAI Chat Completions 協(xié)議的接口為例curl -N -s https://api.example.com/v1/chat/completions \ -H Authorization: Bearer $API_KEY \ -H Content-Type: application/json \ -d { model: your-model, messages: [ {role: user, content: 用一句話介紹你自己} ], stream: true, max_tokens: 100 }-N參數(shù)關(guān)閉 curl 的緩沖讓數(shù)據(jù)到達(dá)后立即輸出。如果接口正常終端會(huì)先打印一段data: {id:...,choices:[{delta:{content:我}}]}最后出現(xiàn)data: [DONE]。再用-w參數(shù)把耗時(shí)輸出出來curl -N -s -o /dev/null \ -w connect:%{time_connect} ttfb:%{time_starttransfer} total:%{time_total}\n \ https://api.example.com/v1/chat/completions \ -H Authorization: Bearer $API_KEY \ -H Content-Type: application/json \ -d { model: your-model, messages: [{role: user, content: 你好}], stream: true, max_tokens: 50 }time_starttransfer在 curl 中表示從開始到收到第一個(gè)響應(yīng)字節(jié)的時(shí)間可以作為粗略的 TTFT 參考。注意它包含 TLS 握手和連接建立時(shí)間適合做初步探測(cè)但不適合做正式基準(zhǔn)。3.2 Python 流式評(píng)測(cè)腳本逐行統(tǒng)計(jì) TTFT正式評(píng)測(cè)建議用 Python 腳本。下面這段代碼使用httpx的流式接口逐行讀取 SSE 數(shù)據(jù)流并對(duì)時(shí)間戳做精確記錄import asyncio import json import statistics import time import httpx API_KEY your-api-key BASE_URL https://api.example.com/v1 MODEL your-model TIMEOUT_SECONDS 60 MAX_TOKENS 200 SYSTEM_PROMPT 你是語音助手回答時(shí)先給出結(jié)論再補(bǔ)充細(xì)節(jié)。 USER_PROMPT 請(qǐng)用三句話介紹實(shí)時(shí)語音交互系統(tǒng)。 MESSAGES [ {role: system, content: SYSTEM_PROMPT}, {role: user, content: USER_PROMPT}, ] async def measure_ttft_once(client: httpx.AsyncClient) - dict: t_send time.perf_counter() ttft None first_data chunk_count 0 content_chars 0 payload { model: MODEL, messages: MESSAGES, stream: True, max_tokens: MAX_TOKENS, temperature: 0.7, } async with client.stream( POST, f{BASE_URL}/chat/completions, headers{Authorization: fBearer {API_KEY}}, jsonpayload, timeoutTIMEOUT_SECONDS, ) as response: response.raise_for_status() async for line in response.aiter_lines(): if not line.startswith(data:): continue data line[len(data:):].strip() if data [DONE]: break t_now time.perf_counter() if ttft is None: ttft t_now - t_send first_data data[:80] chunk_count 1 try: obj json.loads(data) delta obj[choices][0].get(delta, {}) content_chars len(delta.get(content, ) or ) except (json.JSONDecodeError, KeyError, IndexError): pass t_complete time.perf_counter() return { ttft: ttft, total_latency: t_complete - t_send, chunk_count: chunk_count, content_chars: content_chars, first_data: first_data, } async def run_single_thread_benchmark(rounds: int 30, warmup: int 5) - None: async with httpx.AsyncClient(http2True) as client: for _ in range(warmup): await measure_ttft_once(client) ttft_list [] total_list [] for i in range(1, rounds 1): result await measure_ttft_once(client) ttft_list.append(result[ttft]) total_list.append(result[total_latency]) print(fround{i:02d} ttft{result[ttft]*1000:.0f}ms ftotal{result[total_latency]*1000:.0f}ms fchars{result[content_chars]}) def percentile(values, p): values sorted(values) idx min(len(values) - 1, int(len(values) * p)) return values[idx] print(\n TTFT summary (seconds) ) print(fmean{statistics.mean(ttft_list):.3f}) print(fp50{percentile(ttft_list, 0.50):.3f}) print(fp95{percentile(ttft_list, 0.95):.3f}) print(fp99{percentile(ttft_list, 0.99):.3f}) print( total latency summary (seconds) ) print(fmean{statistics.mean(total_list):.3f}) print(fp95{percentile(total_list, 0.95):.3f}) if __name__ __main__: asyncio.run(run_single_thread_benchmark())這個(gè)腳本的關(guān)鍵點(diǎn)有三個(gè)第一用aiter_lines()逐行讀取 SSE 數(shù)據(jù)才能在流式場(chǎng)景下精確拿到“第一個(gè) token 到客戶端”的時(shí)間。如果直接用client.post等待完整響應(yīng)測(cè)到的就是總延遲不是 TTFT。第二腳本通過ttft is None判斷首次數(shù)據(jù)到達(dá)記錄后就不再覆蓋。這樣可以避免把后續(xù) token 的時(shí)間誤記為首包時(shí)間。第三腳本在正式采樣前先跑了 warmup 請(qǐng)求排除連接池、鑒權(quán)緩存和冷啟動(dòng)影響。需要注意httpx.AsyncClient(http2True)開啟 HTTP/2 后部分服務(wù)端的連接復(fù)用行為會(huì)和 HTTP/1.1 不同。對(duì)比多個(gè) API 時(shí)協(xié)議要統(tǒng)一否則差異可能來自協(xié)議本身。3.3 并發(fā)場(chǎng)景下的 TTFT 分布統(tǒng)計(jì)單線程評(píng)測(cè)只能反映穩(wěn)定狀態(tài)下的基礎(chǔ)延遲。語音智能體在真實(shí)場(chǎng)景中往往有多個(gè)會(huì)話同時(shí)進(jìn)行并發(fā)升高后TTFT 會(huì)因?yàn)榕抨?duì)而明顯上升。下面是一個(gè)簡(jiǎn)單的并發(fā)壓測(cè)版本import asyncio import statistics import time import httpx API_KEY your-api-key BASE_URL https://api.example.com/v1 MODEL your-model CONCURRENCY 10 DURATION_SECONDS 60 async def worker(client: httpx.AsyncClient, results: list, stop_event: asyncio.Event): while not stop_event.is_set(): try: result await measure_ttft_once(client) results.append(result[ttft]) except Exception as exc: results.append(None) print(ferror: {type(exc).__name__}: {exc}) async def run_concurrent_benchmark(concurrency: int 10, duration: int 60): async with httpx.AsyncClient(http2True) as client: results [] stop_event asyncio.Event() tasks [asyncio.create_task(worker(client, results, stop_event)) for _ in range(concurrency)] await asyncio.sleep(duration) stop_event.set() await asyncio.gather(*tasks, return_exceptionsTrue) valid [r for r in results if r is not None] print(ftotal_requests{len(results)} valid{len(valid)}) if valid: valid.sort() print(fp50{percentile(valid, 0.50)*1000:.0f}ms) print(fp95{percentile(valid, 0.95)*1000:.0f}ms) print(fp99{percentile(valid, 0.99)*1000:.0f}ms) print(fmax{max(valid)*1000:.0f}ms)并發(fā)測(cè)試要注意兩個(gè)問題第一客戶端本身不能成為瓶頸測(cè)試機(jī) CPU 和網(wǎng)絡(luò)帶寬要足夠第二異常請(qǐng)求也要記錄數(shù)量因?yàn)楦卟l(fā)下超時(shí)和報(bào)錯(cuò)本身也是服務(wù)質(zhì)量的一部分。若 P95 TTFT 大幅高于單并發(fā)時(shí)的值說明服務(wù)端排隊(duì)處理能力不足需要調(diào)大實(shí)例數(shù)或調(diào)整批處理策略。4. 影響 TTFT 的鏈路因素和參數(shù)取舍4.1 Prefill 階段與提示詞長(zhǎng)度LLM 推理分為 Prefill 和 Decode 兩個(gè)階段。Prefill 階段一次性處理輸入的提示詞 token生成每個(gè)位置上的 Key 和 Value 緩存Decode 階段再逐步生成新 token。TTFT 很大程度上由 Prefill 耗時(shí)決定。提示詞越長(zhǎng)Prefill 計(jì)算量越大TTFT 越高。語音智能體如果每次都把完整歷史對(duì)話發(fā)送給 API而不做摘要或裁剪TTFT 會(huì)隨著對(duì)話輪次增長(zhǎng)不斷惡化。這是實(shí)際項(xiàng)目中最容易被忽視的問題前幾輪對(duì)話響應(yīng)很快聊到第十輪時(shí)首字延遲明顯變長(zhǎng)原因是輸入提示詞已經(jīng)膨脹了幾倍。緩解手段包括對(duì)歷史對(duì)話做摘要只保留關(guān)鍵信息。限制消息條數(shù)丟棄過舊的消息。使用上下文壓縮工具而不是原樣拼接。在評(píng)測(cè)時(shí)按“最長(zhǎng)可能提示詞”而不是“平均提示詞”做壓測(cè)。4.2 連接建立、TLS 與網(wǎng)絡(luò)往返客戶端視角的 TTFT 很大一部分可能消耗在網(wǎng)絡(luò)層。實(shí)時(shí)語音智能體如果復(fù)用不活躍的 HTTP 連接每次請(qǐng)求都要重新經(jīng)歷 TCP 握手和 TLS 握手可能多出 100 到 300 毫秒。使用連接池可以顯著降低這部分開銷。在httpx中復(fù)用同一個(gè)AsyncClient實(shí)例就能復(fù)用底層連接在服務(wù)端網(wǎng)關(guān)層要合理配置 keep-alive 超時(shí)避免空閑連接頻繁釋放。更激進(jìn)的做法是使用 HTTP/2 多路復(fù)用多個(gè)會(huì)話共享一條 TCP 連接減少握手次數(shù)。網(wǎng)絡(luò)距離也是最容易被忽略的因素。如果用戶在國(guó)內(nèi)而推理 API 部署在海外僅網(wǎng)絡(luò)往返就可能讓 TTFT 增加幾百毫秒。評(píng)測(cè)時(shí)建議把測(cè)試機(jī)部署在目標(biāo)用戶所在的區(qū)域而不是在辦公室連內(nèi)網(wǎng)測(cè)海外接口。4.3 服務(wù)端排隊(duì)與批處理調(diào)度服務(wù)端的首 token 延遲通常包含調(diào)度等待時(shí)間。推理引擎為了提升吞吐會(huì)把多個(gè)請(qǐng)求拼成一個(gè) batch 一起推理。如果請(qǐng)求到達(dá)時(shí)剛好趕上 batch 窗口TTFT 就會(huì)偏大如果請(qǐng)求少、batch 立即開始TTFT 就小。這也解釋了為什么 TTFT 在低并發(fā)時(shí)穩(wěn)定、高并發(fā)時(shí)波動(dòng)劇烈。評(píng)測(cè)線上 API 時(shí)建議用固定并發(fā)持續(xù)壓測(cè)一段時(shí)間觀察高百分位的惡化程度。語音場(chǎng)景對(duì)穩(wěn)定性的要求高于吞吐峰值選型時(shí)要更看重 P95 和 P99而不是總吞吐量。4.4 推理參數(shù)對(duì) TTFT 的影響以下參數(shù)對(duì) TTFT 的影響通?？梢赃@樣判斷參數(shù)對(duì) TTFT 的影響說明stream必須為 true非流式接口只能返回完整結(jié)果TTFT 等于總延遲max_tokens影響不明顯但會(huì)參與預(yù)分配判斷一般不需要為了首 token 調(diào)小temperature基本不影響采樣參數(shù)在 Decode 階段生效presence_penalty / frequency_penalty可能有輕微影響部分引擎在采樣時(shí)多算一層邏輯提示詞長(zhǎng)度顯著影響提示詞越長(zhǎng)Prefill 越大并發(fā)數(shù)顯著影響排隊(duì)時(shí)間會(huì)直接加進(jìn) TTFT輸出格式約束JSON Schema 等可能有影響結(jié)構(gòu)化輸出約束會(huì)增加首 token 前的約束校驗(yàn)邏輯如果對(duì)比兩個(gè) API務(wù)必用完全相同的參數(shù)集合。尤其要確認(rèn)兩者都是streamtrue且max_tokens、提示詞長(zhǎng)度一致。5. 常見坑與排查路徑5.1 首次請(qǐng)求慢后續(xù)變快現(xiàn)象第一次調(diào)用接口時(shí) TTFT 高達(dá)幾秒同一客戶端第二次調(diào)用降到幾百毫秒?？赡茉蚍?wù)端冷啟動(dòng)客戶端連接池未建立鑒權(quán)信息首次加載DNS 緩存未生效共享網(wǎng)關(guān)實(shí)例擴(kuò)縮容延遲。排查方式連續(xù)調(diào)用 5 次以上觀察 TTFT 是否逐漸下降并穩(wěn)定。檢查服務(wù)端日志中請(qǐng)求到達(dá)時(shí)間與模型推理開始時(shí)間之間的間隔。確認(rèn)是否使用了連接復(fù)用避免每次新建連接。處理建議評(píng)測(cè)腳本必須在正式采樣前完成 warmup。生產(chǎn)環(huán)境則需要預(yù)熱機(jī)制例如在發(fā)布后自動(dòng)發(fā)送少量探測(cè)請(qǐng)求避免第一個(gè)真實(shí)用戶承擔(dān)冷啟動(dòng)開銷。5.2 TTFT 忽高忽低現(xiàn)象同樣提示詞、同樣并發(fā)TTFT 在 300 毫秒和 2 秒之間跳動(dòng)?？赡茉蚍?wù)端負(fù)載波動(dòng)批處理窗口網(wǎng)絡(luò)路徑變化共享客戶端的其他租戶流量干擾本機(jī)網(wǎng)絡(luò)擁塞。排查方式統(tǒng)計(jì)多次請(qǐng)求的 P50、P95、P99判斷波動(dòng)是否集中在尾部。在服務(wù)端監(jiān)控中對(duì)比同一時(shí)段的 GPU 利用率、隊(duì)列長(zhǎng)度和請(qǐng)求量。換一臺(tái)測(cè)試機(jī)、換一個(gè)網(wǎng)絡(luò)環(huán)境復(fù)測(cè)排除本地因素。處理建議如果尾部延遲高優(yōu)先考慮增加實(shí)例或開啟自動(dòng)擴(kuò)縮容。如果是共享 API 服務(wù)可能需要切換為獨(dú)占實(shí)例或降級(jí)方案。5.3 返回內(nèi)容很多但遲遲不吐第一個(gè)字現(xiàn)象接口最終能返回完整內(nèi)容總延遲正常但 TTFT 很高?？赡茉蚍?wù)端在首 token 前做了額外處理例如檢索增強(qiáng)、工具調(diào)用、意圖識(shí)別輸入提示詞過長(zhǎng)導(dǎo)致 Prefill 時(shí)間長(zhǎng)網(wǎng)關(guān)層有完整響應(yīng)緩沖。排查方式檢查是否配置了 RAG 或 Agent 工具調(diào)用這些邏輯發(fā)生在模型生成文本之前。統(tǒng)計(jì)提示詞 token 數(shù)與 TTFT 對(duì)比判斷是否存在線性關(guān)系。確認(rèn)網(wǎng)關(guān)或反向代理沒有關(guān)閉流式轉(zhuǎn)發(fā)導(dǎo)致所有響應(yīng)被緩沖后一次性返回。處理建議Agent 場(chǎng)景中如果檢索本身很慢LLM 的 TTFT 測(cè)出來再低也沒用。要按完整鏈路拆解把檢索耗時(shí)和模型首 token 耗時(shí)分開統(tǒng)計(jì)。5.4 并發(fā)一高 TTFT 就失控現(xiàn)象單并發(fā)時(shí) P95 不高并發(fā)到 20 后 P95 翻倍甚至更多?？赡茉蚍?wù)端排隊(duì)時(shí)間變長(zhǎng)推理引擎 batch 過大導(dǎo)致單個(gè)請(qǐng)求等待過久測(cè)試客戶端資源耗盡。排查方式記錄每個(gè)請(qǐng)求的服務(wù)端處理開始時(shí)間區(qū)分排隊(duì)時(shí)間和推理時(shí)間。觀察服務(wù)端隊(duì)列長(zhǎng)度和 GPU 利用率。檢查測(cè)試機(jī) CPU、內(nèi)存和網(wǎng)絡(luò)連接數(shù)是否打滿。處理建議語音智能體通常對(duì)“同時(shí)刻活躍會(huì)話數(shù)”有明確上限壓測(cè)檔位要覆蓋真實(shí)峰值并預(yù)留 30% 以上的余量。若無論如何優(yōu)化 TTFT 都?jí)翰幌聛砭鸵黾訉?shí)例數(shù)量做水平擴(kuò)容。5.5 指標(biāo)在不同機(jī)器上對(duì)不上現(xiàn)象本機(jī)測(cè)得 TTFT 是 400 毫秒線上監(jiān)控面板顯示 200 毫秒兩邊對(duì)不上?？赡茉驕y(cè)量起點(diǎn)不一致監(jiān)控面板統(tǒng)計(jì)的是服務(wù)端處理時(shí)間本機(jī)統(tǒng)計(jì)的是客戶端感知時(shí)間本機(jī)離服務(wù)端網(wǎng)絡(luò)較遠(yuǎn)監(jiān)控面板只統(tǒng)計(jì)成功進(jìn)入推理的請(qǐng)求而本機(jī)統(tǒng)計(jì)包含排隊(duì)和網(wǎng)絡(luò)。排查方式對(duì)齊測(cè)量口徑明確客戶端時(shí)間和服務(wù)端時(shí)間的定義。在請(qǐng)求日志中記錄時(shí)間戳和請(qǐng)求 ID逐條比對(duì)。排查本機(jī)到服務(wù)端的網(wǎng)絡(luò) RTT。處理建議建立基準(zhǔn)評(píng)測(cè)規(guī)范時(shí)先在文檔里寫清楚“客戶端視角 TTFT”和“服務(wù)端視角 TTFT”兩個(gè)定義所有對(duì)比都基于同一口徑。6. 從基準(zhǔn)結(jié)果到實(shí)時(shí)語音智能體選型6.1 學(xué)習(xí)環(huán)境與生產(chǎn)環(huán)境的評(píng)測(cè)差異本地學(xué)習(xí)環(huán)境用ollama serve或 vLLM 啟動(dòng)一個(gè)小模型主要用來理解 TTFT 的變化規(guī)律輸入提示詞變長(zhǎng)時(shí) TTFT 如何上升并發(fā)升高時(shí)排隊(duì)怎么影響首包。這個(gè)階段用 CPU 推理也能跑但 CPU 和 GPU 的數(shù)值沒有橫向可比性。生產(chǎn)環(huán)境評(píng)測(cè)則要考慮更多因素維度學(xué)習(xí)環(huán)境生產(chǎn)環(huán)境測(cè)試機(jī)位置本機(jī) localhost與用戶同區(qū)域走公網(wǎng)路徑請(qǐng)求內(nèi)容簡(jiǎn)單的“你好”真實(shí)對(duì)話脫敏樣本含系統(tǒng)提示詞和歷史并發(fā)檔位單并發(fā)為主覆蓋峰值并預(yù)留余量指標(biāo)平均值為主P50、P95、P99 并重協(xié)議HTTP/1.1 即可按實(shí)際客戶端使用 HTTP/1.1 或 HTTP/2持續(xù)時(shí)長(zhǎng)幾十次請(qǐng)求至少幾分鐘以上的持續(xù)壓測(cè)服務(wù)端日志可不看必須結(jié)合隊(duì)列長(zhǎng)度、GPU 利用率和日志交叉驗(yàn)證6.2 參數(shù)與方案選型速查表針對(duì)語音智能體的推理 API 評(píng)測(cè)和選型可以參考下面這張速查表場(chǎng)景推薦關(guān)注指標(biāo)可接受的 TTFT 參考范圍優(yōu)化方向簡(jiǎn)單問答TTFT 平均值語音場(chǎng)景建議 500 毫秒以內(nèi)壓縮提示詞、使用連接池多輪對(duì)話TTFT P95800 毫秒以內(nèi)歷史摘要、上下文壓縮帶工具調(diào)用的 AgentTTFT 工具調(diào)用耗時(shí)需要單獨(dú)拆開看工具結(jié)果預(yù)加載、并行檢索高并發(fā)客服TTFT P991 秒以內(nèi)超過則告警水平擴(kuò)容、獨(dú)占實(shí)例實(shí)時(shí)語音對(duì)講TTFT TTS 拼接延遲首字音頻越快越好邊生成邊合成先合成第一句以上范圍是經(jīng)驗(yàn)參考值不是絕對(duì)標(biāo)準(zhǔn)。不同產(chǎn)品對(duì)延遲的容忍度差異很大正式立項(xiàng)時(shí)應(yīng)該基于自己的用戶調(diào)研設(shè)定目標(biāo)值。6.3 發(fā)布前評(píng)測(cè)檢查清單每次評(píng)估或選型推理 API 時(shí)可以按這份清單逐項(xiàng)確認(rèn)評(píng)測(cè)前是否完成 warmup 至少 5 次。是否固定了模型版本、提示詞長(zhǎng)度、max_tokens、temperature。是否全部使用流式接口關(guān)閉了任何緩沖層。是否分別統(tǒng)計(jì)了 TTFT、TPOT、總延遲和輸出長(zhǎng)度。是否同時(shí)報(bào)告 P50、P95、P99而不是只看平均值。是否記錄了測(cè)試機(jī)位置和網(wǎng)絡(luò)類型。是否用真實(shí)業(yè)務(wù)提示詞樣本而不是簡(jiǎn)單的“你好”。是否做了單并發(fā)和多并發(fā)兩輪評(píng)測(cè)。是否排除了測(cè)試客戶端自身的資源瓶頸。是否將客戶端觀測(cè)結(jié)果與服務(wù)端日志交叉驗(yàn)證。把這份清單放進(jìn)評(píng)測(cè)腳本的 README 里每次跑完基準(zhǔn)就逐項(xiàng)打勾可以避免“測(cè)出來很漂亮上線后發(fā)現(xiàn)卡頓”的情況。7. 擴(kuò)展方向從 TTFT 到整套實(shí)時(shí)鏈路評(píng)測(cè)TTFT 只是實(shí)時(shí)語音智能體延遲評(píng)測(cè)的第一步。當(dāng)模型接口的首 token 足夠快之后瓶頸往往會(huì)轉(zhuǎn)移到完整鏈路的其他環(huán)節(jié)ASR 的識(shí)別等待時(shí)間、語義 VAD 的斷句決策、TTS 的合成速度、音頻播放的緩沖策略。評(píng)測(cè)范圍應(yīng)該逐步擴(kuò)展成“用戶說完話”到“系統(tǒng)發(fā)出第一個(gè)聲音”的端到端延遲并把它分解成各模塊耗時(shí)。在工程落地層面推薦為每個(gè)環(huán)節(jié)都建立獨(dú)立埋點(diǎn)ASR 從音頻結(jié)束到文本輸出的耗時(shí)、LLM 的 TTFT 與 TPOT、TTS 從文本到音頻幀的合成耗時(shí)、播放隊(duì)列的緩沖時(shí)間。所有時(shí)間戳統(tǒng)一使用同一時(shí)鐘源并通過請(qǐng)求 ID 串聯(lián)。對(duì)新手來說最值得做的練習(xí)不是直接投入大規(guī)模壓測(cè)而是先用一個(gè)本地模型和一個(gè)流式接口腳本親手把 TTFT 的測(cè)量鏈路跑通理解 Prefill、排隊(duì)、網(wǎng)絡(luò)往返各自貢獻(xiàn)了多少時(shí)間。能準(zhǔn)確說清“首字慢在哪一段”后續(xù)做語音智能體的低延遲優(yōu)化就會(huì)順利很多。 TTFT 基準(zhǔn)評(píng)測(cè)實(shí)戰(zhàn)：語音交互場(chǎng)景下的首 token 延遲測(cè)量與優(yōu)化
在實(shí)際語音交互和實(shí)時(shí)智能體項(xiàng)目中模型推理 API 的“首 token 延遲TTFTTime To First Token”往往是決定體驗(yàn)好壞的關(guān)鍵指標(biāo)卻經(jīng)常被總延遲或每秒輸出 token 數(shù)掩蓋。用戶問一句“幫我查一下明天的會(huì)議安排”如果系統(tǒng)過了 2 秒才開始吐字不管后面輸出多快對(duì)話體感都會(huì)被判定為“卡、慢、遲鈍”。本文圍繞 TTFT 展開一套可復(fù)現(xiàn)的推理 API 基準(zhǔn)評(píng)測(cè)方法從概念定義、測(cè)量邊界、腳本實(shí)現(xiàn)到參數(shù)分析和常見坑排查幫助你在語音場(chǎng)景里用“首字速度”而不是“總時(shí)長(zhǎng)”來選型和評(píng)估推理 API。1. 實(shí)時(shí)語音與智能體場(chǎng)景為什么必須單獨(dú)看 TTFT1.1 TTFT 的直觀含義與技術(shù)定義TTFT 的全稱是 Time To First Token中文可以理解為“從請(qǐng)求發(fā)出到生成出第一個(gè) token 的時(shí)間”。在流式推理接口中客戶端發(fā)起一次對(duì)話請(qǐng)求后服務(wù)端不是等全部?jī)?nèi)容生成完才返回而是先返回一小段增量數(shù)據(jù)再持續(xù)返回后續(xù)內(nèi)容。這段從請(qǐng)求發(fā)出、到客戶端收到第一個(gè)有效 token 數(shù)據(jù)的時(shí)間間隔就是 TTFT。從技術(shù)鏈路看TTFT 通常包含這些部分客戶端發(fā)起請(qǐng)求到服務(wù)端接收請(qǐng)求的網(wǎng)絡(luò)時(shí)間。服務(wù)端完成請(qǐng)求解析、鑒權(quán)、路由的時(shí)間。模型推理引擎執(zhí)行 Prefill預(yù)填充階段、處理完整輸入提示詞的時(shí)間。調(diào)度器排隊(duì)的等待時(shí)間。第一個(gè)增量響應(yīng)返回客戶端的網(wǎng)絡(luò)時(shí)間。和它經(jīng)常一起出現(xiàn)的是 TPOTTime Per Output Token每個(gè)輸出 token 的平均耗時(shí)。TTFT 描述的是“開口之前要等多久”TPOT 描述的是“開口之后每秒能說多快”。語音場(chǎng)景里兩者缺一不可但優(yōu)先級(jí)的排序要看具體交互形態(tài)。1.2 語音交互里“首字卡頓”比“總時(shí)長(zhǎng)”更致命人在語音對(duì)話中的等待容忍度遠(yuǎn)低于文字閱讀。文字接口即使第一屏加載慢一點(diǎn)用戶還可以接受語音對(duì)話一旦出現(xiàn)明顯的“沒反應(yīng)”窗口用戶會(huì)覺得設(shè)備壞了、系統(tǒng)沒聽懂或者直接重復(fù)提問。這種現(xiàn)象在交互設(shè)計(jì)里通常被歸為“感知延遲”問題真正決定體驗(yàn)的不是后臺(tái)生成完整回答用了多少秒而是從用戶停止說話到系統(tǒng)發(fā)出第一個(gè)聲音之間有多久。在一個(gè)典型的實(shí)時(shí)語音智能體流水線中完整的響應(yīng)鏈路往往是這樣ASR 語音識(shí)別模塊把用戶語音轉(zhuǎn)成文本。語義判斷或 Agent 編排模塊決定下一步動(dòng)作。LLM 推理 API 生成回答文本。TTS 語音合成模塊把文本變成音頻并播放。TTFT 對(duì)應(yīng)的是第 3 步中“第一批文本出來”的時(shí)間。它雖然只是整個(gè)鏈路中的一段卻往往是變數(shù)最大的一段。ASR 和 TTS 的延遲相對(duì)穩(wěn)定模型推理服務(wù)在排隊(duì)、批處理、Prefill 上的波動(dòng)卻可能從幾百毫秒放大到幾秒。因此在評(píng)測(cè)語音智能體時(shí)單獨(dú)拆出 LLM 推理環(huán)節(jié)的 TTFT能幫助定位“到底是識(shí)別慢、生成慢、還是合成慢”。1.3 TTFT、TPOT 與端到端延遲的分工一次完整響應(yīng)的總耗時(shí)可以粗略表示為總延遲 ≈ TTFT TPOT × 輸出 token 數(shù) TTS 合成與播放延遲這個(gè)公式說明同樣的總延遲背后可能有完全不同的原因如果 TTFT 高、TPOT 正常說明問題在“首字等待”要檢查網(wǎng)絡(luò)連接、排隊(duì)、Prefill、服務(wù)端負(fù)載。如果 TTFT 正常、TPOT 高說明模型每生成一個(gè) token 都偏慢要檢查推理引擎的 Decode 階段性能、量化方式、并發(fā)配置。如果總延遲高但 TTFT 和 TPOT 都正常問題可能出在輸出長(zhǎng)度、TTS 合成速度或播放緩沖上。所以評(píng)測(cè)時(shí)不要只報(bào)一個(gè)“平均響應(yīng)時(shí)間”。正確做法是同時(shí)記錄 TTFT、TPOT、總延遲和輸出長(zhǎng)度再根據(jù)語音交互形態(tài)決定優(yōu)先優(yōu)化哪一個(gè)。2. 設(shè)計(jì)一次可復(fù)現(xiàn)的 TTFT 基準(zhǔn)評(píng)測(cè)2.1 先劃定測(cè)量邊界客戶端視角還是服務(wù)端視角TTFT 的測(cè)量位置不同數(shù)值含義完全不同?？蛻舳艘暯堑?TTFT是從客戶端發(fā)出 HTTP 請(qǐng)求開始到客戶端收到第一個(gè)攜帶生成內(nèi)容的流式數(shù)據(jù)為止。它直觀反映用戶體感但夾雜了網(wǎng)絡(luò)延遲、TLS 握手、DNS 解析、客戶端解析框架開銷等因素。服務(wù)端視角的 TTFT則是從服務(wù)端收到請(qǐng)求、完成內(nèi)部處理并發(fā)出第一個(gè) token 的時(shí)間能反映模型推理服務(wù)的真實(shí)處理速度。做基準(zhǔn)評(píng)測(cè)時(shí)至少要明確記錄“測(cè)的是哪一段”。如果是為了對(duì)比多個(gè)推理 API 供應(yīng)商客戶端視角更有用因?yàn)橛脩糇罱K感受到的就是這個(gè)值。如果是為了調(diào)優(yōu)自建推理服務(wù)服務(wù)端視角更能定位引擎本身的瓶頸。推薦做法是同時(shí)記錄三個(gè)時(shí)間點(diǎn)t_send客戶端開始發(fā)送請(qǐng)求的時(shí)間。t_received客戶端收到第一個(gè) token 數(shù)據(jù)的時(shí)間。t_complete客戶端收到全部響應(yīng)的時(shí)間。由t_received - t_send得到客戶端 TTFT由服務(wù)端日志中的相同請(qǐng)求 ID 可以反查服務(wù)端處理開始時(shí)間從而算出網(wǎng)絡(luò)和其他開銷。2.2 固定評(píng)測(cè)變量模型、提示詞長(zhǎng)度、并發(fā)和流式開關(guān)TTFT 不是一個(gè)固有屬性它隨請(qǐng)求內(nèi)容變化而變化。做橫向?qū)Ρ葧r(shí)必須把無關(guān)變量固定住否則測(cè)出來的差距無法歸因。需要固定的變量至少包括評(píng)測(cè)變量為什么會(huì)影響 TTFT建議固定方式模型版本不同模型的參數(shù)量、架構(gòu)、量化方式差異巨大所有對(duì)比都指向同一個(gè)確認(rèn)可用的模型版本提示詞長(zhǎng)度Prefill 階段要處理完整輸入輸入越長(zhǎng) TTFT 越高使用相同長(zhǎng)度、相同內(nèi)容的提示詞模板輸出長(zhǎng)度上限一般不影響首 token但會(huì)影響內(nèi)部調(diào)度預(yù)分配固定 max_tokens例如 200并發(fā)數(shù)排隊(duì)和批處理會(huì)明顯放大 TTFT分別測(cè)單并發(fā)、10、50 等固定檔位流式開關(guān)非流式接口必須等全部生成完才返回評(píng)測(cè)語音場(chǎng)景時(shí)統(tǒng)一使用 streamtrue測(cè)速客戶端位置離服務(wù)端越遠(yuǎn)網(wǎng)絡(luò)部分占比越高固定同一地域的測(cè)試機(jī)時(shí)間窗口高峰時(shí)段和低峰時(shí)段服務(wù)端負(fù)載不同同一時(shí)間段內(nèi)完成對(duì)比提示詞長(zhǎng)度特別值得注意。同樣的推理 API輸入 50 個(gè) token 和輸入 2000 個(gè) tokenTTFT 可以差出幾倍。語音智能體的請(qǐng)求往往帶有歷史對(duì)話、上下文壓縮結(jié)果、工具調(diào)用結(jié)果提示詞可能很長(zhǎng)。因此基準(zhǔn)評(píng)測(cè)要模擬真實(shí)請(qǐng)求形態(tài)把歷史對(duì)話和系統(tǒng)提示詞放在同一個(gè) messages 數(shù)組中而不是用一個(gè)“你好”做代表。2.3 評(píng)測(cè)樣本數(shù)與統(tǒng)計(jì)口徑TTFT 屬于高波動(dòng)指標(biāo)單次請(qǐng)求的數(shù)值幾乎沒有參考價(jià)值。網(wǎng)絡(luò)抖動(dòng)、服務(wù)端冷啟動(dòng)、負(fù)載均衡策略都會(huì)造成單點(diǎn)異常。規(guī)范做法是單并發(fā)場(chǎng)景至少測(cè) 30 到 50 次。并發(fā)場(chǎng)景每次持續(xù) 60 秒以上。報(bào)告平均值的同時(shí)必須報(bào)告 P50、P95、P99。明確剔除 warm-up 請(qǐng)求也就是評(píng)測(cè)前先發(fā)幾次請(qǐng)求讓服務(wù)端完成鑒權(quán)緩存、模型加載、連接池預(yù)熱。統(tǒng)計(jì)口徑上語音場(chǎng)景更關(guān)注高百分位而不是平均值。P95 和 P99 代表最差情況下用戶會(huì)不會(huì)明顯感到卡頓。平均值低但 P99 很高說明服務(wù)穩(wěn)定性不足不適合承載實(shí)時(shí)語音。2.4 評(píng)測(cè)環(huán)境需要分開準(zhǔn)備學(xué)習(xí)環(huán)境和生產(chǎn)環(huán)境的評(píng)測(cè)目標(biāo)完全不同。學(xué)習(xí)環(huán)境通常是本地 PC可能用 Ollama、vLLM 或者一個(gè)小型量化模型。這個(gè)階段的評(píng)測(cè)主要為了理解 TTFT 的影響因素幫助新手掌握測(cè)量方法。本地環(huán)境的網(wǎng)絡(luò)開銷很小測(cè)出來的 TTFT 更接近模型推理本身的耗時(shí)但硬件條件有限時(shí)CPU 推理和 GPU 推理的差異會(huì)被放大。生產(chǎn)環(huán)境則要針對(duì)真實(shí)流量形態(tài)做壓測(cè)。測(cè)試機(jī)盡量放在與用戶相近的網(wǎng)絡(luò)區(qū)域請(qǐng)求內(nèi)容使用真實(shí)對(duì)話樣本的脫敏版本并發(fā)檔位覆蓋高峰水平并且要在服務(wù)端日志和監(jiān)控面板同時(shí)記錄指標(biāo)用于交叉驗(yàn)證。不要在開發(fā)機(jī)上用 localhost 測(cè)出數(shù)據(jù)就直接評(píng)估線上 API兩者之間隔著網(wǎng)絡(luò)、負(fù)載均衡和跨地域路由TTFT 可能差出一大截。3. 用 curl 和 Python 腳本測(cè)量首 token 延遲3.1 先用 curl 做一次連通性探測(cè)在寫完整評(píng)測(cè)腳本之前先用 curl 確認(rèn)接口能不能流式返回順便觀察首包到達(dá)情況。以兼容 OpenAI Chat Completions 協(xié)議的接口為例curl -N -s https://api.example.com/v1/chat/completions \ -H Authorization: Bearer $API_KEY \ -H Content-Type: application/json \ -d { model: your-model, messages: [ {role: user, content: 用一句話介紹你自己} ], stream: true, max_tokens: 100 }-N參數(shù)關(guān)閉 curl 的緩沖讓數(shù)據(jù)到達(dá)后立即輸出。如果接口正常終端會(huì)先打印一段data: {id:...,choices:[{delta:{content:我}}]}最后出現(xiàn)data: [DONE]。再用-w參數(shù)把耗時(shí)輸出出來curl -N -s -o /dev/null \ -w connect:%{time_connect} ttfb:%{time_starttransfer} total:%{time_total}\n \ https://api.example.com/v1/chat/completions \ -H Authorization: Bearer $API_KEY \ -H Content-Type: application/json \ -d { model: your-model, messages: [{role: user, content: 你好}], stream: true, max_tokens: 50 }time_starttransfer在 curl 中表示從開始到收到第一個(gè)響應(yīng)字節(jié)的時(shí)間可以作為粗略的 TTFT 參考。注意它包含 TLS 握手和連接建立時(shí)間適合做初步探測(cè)但不適合做正式基準(zhǔn)。3.2 Python 流式評(píng)測(cè)腳本逐行統(tǒng)計(jì) TTFT正式評(píng)測(cè)建議用 Python 腳本。下面這段代碼使用httpx的流式接口逐行讀取 SSE 數(shù)據(jù)流并對(duì)時(shí)間戳做精確記錄import asyncio import json import statistics import time import httpx API_KEY your-api-key BASE_URL https://api.example.com/v1 MODEL your-model TIMEOUT_SECONDS 60 MAX_TOKENS 200 SYSTEM_PROMPT 你是語音助手回答時(shí)先給出結(jié)論再補(bǔ)充細(xì)節(jié)。 USER_PROMPT 請(qǐng)用三句話介紹實(shí)時(shí)語音交互系統(tǒng)。 MESSAGES [ {role: system, content: SYSTEM_PROMPT}, {role: user, content: USER_PROMPT}, ] async def measure_ttft_once(client: httpx.AsyncClient) - dict: t_send time.perf_counter() ttft None first_data chunk_count 0 content_chars 0 payload { model: MODEL, messages: MESSAGES, stream: True, max_tokens: MAX_TOKENS, temperature: 0.7, } async with client.stream( POST, f{BASE_URL}/chat/completions, headers{Authorization: fBearer {API_KEY}}, jsonpayload, timeoutTIMEOUT_SECONDS, ) as response: response.raise_for_status() async for line in response.aiter_lines(): if not line.startswith(data:): continue data line[len(data:):].strip() if data [DONE]: break t_now time.perf_counter() if ttft is None: ttft t_now - t_send first_data data[:80] chunk_count 1 try: obj json.loads(data) delta obj[choices][0].get(delta, {}) content_chars len(delta.get(content, ) or ) except (json.JSONDecodeError, KeyError, IndexError): pass t_complete time.perf_counter() return { ttft: ttft, total_latency: t_complete - t_send, chunk_count: chunk_count, content_chars: content_chars, first_data: first_data, } async def run_single_thread_benchmark(rounds: int 30, warmup: int 5) - None: async with httpx.AsyncClient(http2True) as client: for _ in range(warmup): await measure_ttft_once(client) ttft_list [] total_list [] for i in range(1, rounds 1): result await measure_ttft_once(client) ttft_list.append(result[ttft]) total_list.append(result[total_latency]) print(fround{i:02d} ttft{result[ttft]*1000:.0f}ms ftotal{result[total_latency]*1000:.0f}ms fchars{result[content_chars]}) def percentile(values, p): values sorted(values) idx min(len(values) - 1, int(len(values) * p)) return values[idx] print(\n TTFT summary (seconds) ) print(fmean{statistics.mean(ttft_list):.3f}) print(fp50{percentile(ttft_list, 0.50):.3f}) print(fp95{percentile(ttft_list, 0.95):.3f}) print(fp99{percentile(ttft_list, 0.99):.3f}) print( total latency summary (seconds) ) print(fmean{statistics.mean(total_list):.3f}) print(fp95{percentile(total_list, 0.95):.3f}) if __name__ __main__: asyncio.run(run_single_thread_benchmark())這個(gè)腳本的關(guān)鍵點(diǎn)有三個(gè)第一用aiter_lines()逐行讀取 SSE 數(shù)據(jù)才能在流式場(chǎng)景下精確拿到“第一個(gè) token 到客戶端”的時(shí)間。如果直接用client.post等待完整響應(yīng)測(cè)到的就是總延遲不是 TTFT。第二腳本通過ttft is None判斷首次數(shù)據(jù)到達(dá)記錄后就不再覆蓋。這樣可以避免把后續(xù) token 的時(shí)間誤記為首包時(shí)間。第三腳本在正式采樣前先跑了 warmup 請(qǐng)求排除連接池、鑒權(quán)緩存和冷啟動(dòng)影響。需要注意httpx.AsyncClient(http2True)開啟 HTTP/2 后部分服務(wù)端的連接復(fù)用行為會(huì)和 HTTP/1.1 不同。對(duì)比多個(gè) API 時(shí)協(xié)議要統(tǒng)一否則差異可能來自協(xié)議本身。3.3 并發(fā)場(chǎng)景下的 TTFT 分布統(tǒng)計(jì)單線程評(píng)測(cè)只能反映穩(wěn)定狀態(tài)下的基礎(chǔ)延遲。語音智能體在真實(shí)場(chǎng)景中往往有多個(gè)會(huì)話同時(shí)進(jìn)行并發(fā)升高后TTFT 會(huì)因?yàn)榕抨?duì)而明顯上升。下面是一個(gè)簡(jiǎn)單的并發(fā)壓測(cè)版本import asyncio import statistics import time import httpx API_KEY your-api-key BASE_URL https://api.example.com/v1 MODEL your-model CONCURRENCY 10 DURATION_SECONDS 60 async def worker(client: httpx.AsyncClient, results: list, stop_event: asyncio.Event): while not stop_event.is_set(): try: result await measure_ttft_once(client) results.append(result[ttft]) except Exception as exc: results.append(None) print(ferror: {type(exc).__name__}: {exc}) async def run_concurrent_benchmark(concurrency: int 10, duration: int 60): async with httpx.AsyncClient(http2True) as client: results [] stop_event asyncio.Event() tasks [asyncio.create_task(worker(client, results, stop_event)) for _ in range(concurrency)] await asyncio.sleep(duration) stop_event.set() await asyncio.gather(*tasks, return_exceptionsTrue) valid [r for r in results if r is not None] print(ftotal_requests{len(results)} valid{len(valid)}) if valid: valid.sort() print(fp50{percentile(valid, 0.50)*1000:.0f}ms) print(fp95{percentile(valid, 0.95)*1000:.0f}ms) print(fp99{percentile(valid, 0.99)*1000:.0f}ms) print(fmax{max(valid)*1000:.0f}ms)并發(fā)測(cè)試要注意兩個(gè)問題第一客戶端本身不能成為瓶頸測(cè)試機(jī) CPU 和網(wǎng)絡(luò)帶寬要足夠第二異常請(qǐng)求也要記錄數(shù)量因?yàn)楦卟l(fā)下超時(shí)和報(bào)錯(cuò)本身也是服務(wù)質(zhì)量的一部分。若 P95 TTFT 大幅高于單并發(fā)時(shí)的值說明服務(wù)端排隊(duì)處理能力不足需要調(diào)大實(shí)例數(shù)或調(diào)整批處理策略。4. 影響 TTFT 的鏈路因素和參數(shù)取舍4.1 Prefill 階段與提示詞長(zhǎng)度LLM 推理分為 Prefill 和 Decode 兩個(gè)階段。Prefill 階段一次性處理輸入的提示詞 token生成每個(gè)位置上的 Key 和 Value 緩存Decode 階段再逐步生成新 token。TTFT 很大程度上由 Prefill 耗時(shí)決定。提示詞越長(zhǎng)Prefill 計(jì)算量越大TTFT 越高。語音智能體如果每次都把完整歷史對(duì)話發(fā)送給 API而不做摘要或裁剪TTFT 會(huì)隨著對(duì)話輪次增長(zhǎng)不斷惡化。這是實(shí)際項(xiàng)目中最容易被忽視的問題前幾輪對(duì)話響應(yīng)很快聊到第十輪時(shí)首字延遲明顯變長(zhǎng)原因是輸入提示詞已經(jīng)膨脹了幾倍。緩解手段包括對(duì)歷史對(duì)話做摘要只保留關(guān)鍵信息。限制消息條數(shù)丟棄過舊的消息。使用上下文壓縮工具而不是原樣拼接。在評(píng)測(cè)時(shí)按“最長(zhǎng)可能提示詞”而不是“平均提示詞”做壓測(cè)。4.2 連接建立、TLS 與網(wǎng)絡(luò)往返客戶端視角的 TTFT 很大一部分可能消耗在網(wǎng)絡(luò)層。實(shí)時(shí)語音智能體如果復(fù)用不活躍的 HTTP 連接每次請(qǐng)求都要重新經(jīng)歷 TCP 握手和 TLS 握手可能多出 100 到 300 毫秒。使用連接池可以顯著降低這部分開銷。在httpx中復(fù)用同一個(gè)AsyncClient實(shí)例就能復(fù)用底層連接在服務(wù)端網(wǎng)關(guān)層要合理配置 keep-alive 超時(shí)避免空閑連接頻繁釋放。更激進(jìn)的做法是使用 HTTP/2 多路復(fù)用多個(gè)會(huì)話共享一條 TCP 連接減少握手次數(shù)。網(wǎng)絡(luò)距離也是最容易被忽略的因素。如果用戶在國(guó)內(nèi)而推理 API 部署在海外僅網(wǎng)絡(luò)往返就可能讓 TTFT 增加幾百毫秒。評(píng)測(cè)時(shí)建議把測(cè)試機(jī)部署在目標(biāo)用戶所在的區(qū)域而不是在辦公室連內(nèi)網(wǎng)測(cè)海外接口。4.3 服務(wù)端排隊(duì)與批處理調(diào)度服務(wù)端的首 token 延遲通常包含調(diào)度等待時(shí)間。推理引擎為了提升吞吐會(huì)把多個(gè)請(qǐng)求拼成一個(gè) batch 一起推理。如果請(qǐng)求到達(dá)時(shí)剛好趕上 batch 窗口TTFT 就會(huì)偏大如果請(qǐng)求少、batch 立即開始TTFT 就小。這也解釋了為什么 TTFT 在低并發(fā)時(shí)穩(wěn)定、高并發(fā)時(shí)波動(dòng)劇烈。評(píng)測(cè)線上 API 時(shí)建議用固定并發(fā)持續(xù)壓測(cè)一段時(shí)間觀察高百分位的惡化程度。語音場(chǎng)景對(duì)穩(wěn)定性的要求高于吞吐峰值選型時(shí)要更看重 P95 和 P99而不是總吞吐量。4.4 推理參數(shù)對(duì) TTFT 的影響以下參數(shù)對(duì) TTFT 的影響通?？梢赃@樣判斷參數(shù)對(duì) TTFT 的影響說明stream必須為 true非流式接口只能返回完整結(jié)果TTFT 等于總延遲max_tokens影響不明顯但會(huì)參與預(yù)分配判斷一般不需要為了首 token 調(diào)小temperature基本不影響采樣參數(shù)在 Decode 階段生效presence_penalty / frequency_penalty可能有輕微影響部分引擎在采樣時(shí)多算一層邏輯提示詞長(zhǎng)度顯著影響提示詞越長(zhǎng)Prefill 越大并發(fā)數(shù)顯著影響排隊(duì)時(shí)間會(huì)直接加進(jìn) TTFT輸出格式約束JSON Schema 等可能有影響結(jié)構(gòu)化輸出約束會(huì)增加首 token 前的約束校驗(yàn)邏輯如果對(duì)比兩個(gè) API務(wù)必用完全相同的參數(shù)集合。尤其要確認(rèn)兩者都是streamtrue且max_tokens、提示詞長(zhǎng)度一致。5. 常見坑與排查路徑5.1 首次請(qǐng)求慢后續(xù)變快現(xiàn)象第一次調(diào)用接口時(shí) TTFT 高達(dá)幾秒同一客戶端第二次調(diào)用降到幾百毫秒?？赡茉蚍?wù)端冷啟動(dòng)客戶端連接池未建立鑒權(quán)信息首次加載DNS 緩存未生效共享網(wǎng)關(guān)實(shí)例擴(kuò)縮容延遲。排查方式連續(xù)調(diào)用 5 次以上觀察 TTFT 是否逐漸下降并穩(wěn)定。檢查服務(wù)端日志中請(qǐng)求到達(dá)時(shí)間與模型推理開始時(shí)間之間的間隔。確認(rèn)是否使用了連接復(fù)用避免每次新建連接。處理建議評(píng)測(cè)腳本必須在正式采樣前完成 warmup。生產(chǎn)環(huán)境則需要預(yù)熱機(jī)制例如在發(fā)布后自動(dòng)發(fā)送少量探測(cè)請(qǐng)求避免第一個(gè)真實(shí)用戶承擔(dān)冷啟動(dòng)開銷。5.2 TTFT 忽高忽低現(xiàn)象同樣提示詞、同樣并發(fā)TTFT 在 300 毫秒和 2 秒之間跳動(dòng)?？赡茉蚍?wù)端負(fù)載波動(dòng)批處理窗口網(wǎng)絡(luò)路徑變化共享客戶端的其他租戶流量干擾本機(jī)網(wǎng)絡(luò)擁塞。排查方式統(tǒng)計(jì)多次請(qǐng)求的 P50、P95、P99判斷波動(dòng)是否集中在尾部。在服務(wù)端監(jiān)控中對(duì)比同一時(shí)段的 GPU 利用率、隊(duì)列長(zhǎng)度和請(qǐng)求量。換一臺(tái)測(cè)試機(jī)、換一個(gè)網(wǎng)絡(luò)環(huán)境復(fù)測(cè)排除本地因素。處理建議如果尾部延遲高優(yōu)先考慮增加實(shí)例或開啟自動(dòng)擴(kuò)縮容。如果是共享 API 服務(wù)可能需要切換為獨(dú)占實(shí)例或降級(jí)方案。5.3 返回內(nèi)容很多但遲遲不吐第一個(gè)字現(xiàn)象接口最終能返回完整內(nèi)容總延遲正常但 TTFT 很高?？赡茉蚍?wù)端在首 token 前做了額外處理例如檢索增強(qiáng)、工具調(diào)用、意圖識(shí)別輸入提示詞過長(zhǎng)導(dǎo)致 Prefill 時(shí)間長(zhǎng)網(wǎng)關(guān)層有完整響應(yīng)緩沖。排查方式檢查是否配置了 RAG 或 Agent 工具調(diào)用這些邏輯發(fā)生在模型生成文本之前。統(tǒng)計(jì)提示詞 token 數(shù)與 TTFT 對(duì)比判斷是否存在線性關(guān)系。確認(rèn)網(wǎng)關(guān)或反向代理沒有關(guān)閉流式轉(zhuǎn)發(fā)導(dǎo)致所有響應(yīng)被緩沖后一次性返回。處理建議Agent 場(chǎng)景中如果檢索本身很慢LLM 的 TTFT 測(cè)出來再低也沒用。要按完整鏈路拆解把檢索耗時(shí)和模型首 token 耗時(shí)分開統(tǒng)計(jì)。5.4 并發(fā)一高 TTFT 就失控現(xiàn)象單并發(fā)時(shí) P95 不高并發(fā)到 20 后 P95 翻倍甚至更多?？赡茉蚍?wù)端排隊(duì)時(shí)間變長(zhǎng)推理引擎 batch 過大導(dǎo)致單個(gè)請(qǐng)求等待過久測(cè)試客戶端資源耗盡。排查方式記錄每個(gè)請(qǐng)求的服務(wù)端處理開始時(shí)間區(qū)分排隊(duì)時(shí)間和推理時(shí)間。觀察服務(wù)端隊(duì)列長(zhǎng)度和 GPU 利用率。檢查測(cè)試機(jī) CPU、內(nèi)存和網(wǎng)絡(luò)連接數(shù)是否打滿。處理建議語音智能體通常對(duì)“同時(shí)刻活躍會(huì)話數(shù)”有明確上限壓測(cè)檔位要覆蓋真實(shí)峰值并預(yù)留 30% 以上的余量。若無論如何優(yōu)化 TTFT 都?jí)翰幌聛砭鸵黾訉?shí)例數(shù)量做水平擴(kuò)容。5.5 指標(biāo)在不同機(jī)器上對(duì)不上現(xiàn)象本機(jī)測(cè)得 TTFT 是 400 毫秒線上監(jiān)控面板顯示 200 毫秒兩邊對(duì)不上?？赡茉驕y(cè)量起點(diǎn)不一致監(jiān)控面板統(tǒng)計(jì)的是服務(wù)端處理時(shí)間本機(jī)統(tǒng)計(jì)的是客戶端感知時(shí)間本機(jī)離服務(wù)端網(wǎng)絡(luò)較遠(yuǎn)監(jiān)控面板只統(tǒng)計(jì)成功進(jìn)入推理的請(qǐng)求而本機(jī)統(tǒng)計(jì)包含排隊(duì)和網(wǎng)絡(luò)。排查方式對(duì)齊測(cè)量口徑明確客戶端時(shí)間和服務(wù)端時(shí)間的定義。在請(qǐng)求日志中記錄時(shí)間戳和請(qǐng)求 ID逐條比對(duì)。排查本機(jī)到服務(wù)端的網(wǎng)絡(luò) RTT。處理建議建立基準(zhǔn)評(píng)測(cè)規(guī)范時(shí)先在文檔里寫清楚“客戶端視角 TTFT”和“服務(wù)端視角 TTFT”兩個(gè)定義所有對(duì)比都基于同一口徑。6. 從基準(zhǔn)結(jié)果到實(shí)時(shí)語音智能體選型6.1 學(xué)習(xí)環(huán)境與生產(chǎn)環(huán)境的評(píng)測(cè)差異本地學(xué)習(xí)環(huán)境用ollama serve或 vLLM 啟動(dòng)一個(gè)小模型主要用來理解 TTFT 的變化規(guī)律輸入提示詞變長(zhǎng)時(shí) TTFT 如何上升并發(fā)升高時(shí)排隊(duì)怎么影響首包。這個(gè)階段用 CPU 推理也能跑但 CPU 和 GPU 的數(shù)值沒有橫向可比性。生產(chǎn)環(huán)境評(píng)測(cè)則要考慮更多因素維度學(xué)習(xí)環(huán)境生產(chǎn)環(huán)境測(cè)試機(jī)位置本機(jī) localhost與用戶同區(qū)域走公網(wǎng)路徑請(qǐng)求內(nèi)容簡(jiǎn)單的“你好”真實(shí)對(duì)話脫敏樣本含系統(tǒng)提示詞和歷史并發(fā)檔位單并發(fā)為主覆蓋峰值并預(yù)留余量指標(biāo)平均值為主P50、P95、P99 并重協(xié)議HTTP/1.1 即可按實(shí)際客戶端使用 HTTP/1.1 或 HTTP/2持續(xù)時(shí)長(zhǎng)幾十次請(qǐng)求至少幾分鐘以上的持續(xù)壓測(cè)服務(wù)端日志可不看必須結(jié)合隊(duì)列長(zhǎng)度、GPU 利用率和日志交叉驗(yàn)證6.2 參數(shù)與方案選型速查表針對(duì)語音智能體的推理 API 評(píng)測(cè)和選型可以參考下面這張速查表場(chǎng)景推薦關(guān)注指標(biāo)可接受的 TTFT 參考范圍優(yōu)化方向簡(jiǎn)單問答TTFT 平均值語音場(chǎng)景建議 500 毫秒以內(nèi)壓縮提示詞、使用連接池多輪對(duì)話TTFT P95800 毫秒以內(nèi)歷史摘要、上下文壓縮帶工具調(diào)用的 AgentTTFT 工具調(diào)用耗時(shí)需要單獨(dú)拆開看工具結(jié)果預(yù)加載、并行檢索高并發(fā)客服TTFT P991 秒以內(nèi)超過則告警水平擴(kuò)容、獨(dú)占實(shí)例實(shí)時(shí)語音對(duì)講TTFT TTS 拼接延遲首字音頻越快越好邊生成邊合成先合成第一句以上范圍是經(jīng)驗(yàn)參考值不是絕對(duì)標(biāo)準(zhǔn)。不同產(chǎn)品對(duì)延遲的容忍度差異很大正式立項(xiàng)時(shí)應(yīng)該基于自己的用戶調(diào)研設(shè)定目標(biāo)值。6.3 發(fā)布前評(píng)測(cè)檢查清單每次評(píng)估或選型推理 API 時(shí)可以按這份清單逐項(xiàng)確認(rèn)評(píng)測(cè)前是否完成 warmup 至少 5 次。是否固定了模型版本、提示詞長(zhǎng)度、max_tokens、temperature。是否全部使用流式接口關(guān)閉了任何緩沖層。是否分別統(tǒng)計(jì)了 TTFT、TPOT、總延遲和輸出長(zhǎng)度。是否同時(shí)報(bào)告 P50、P95、P99而不是只看平均值。是否記錄了測(cè)試機(jī)位置和網(wǎng)絡(luò)類型。是否用真實(shí)業(yè)務(wù)提示詞樣本而不是簡(jiǎn)單的“你好”。是否做了單并發(fā)和多并發(fā)兩輪評(píng)測(cè)。是否排除了測(cè)試客戶端自身的資源瓶頸。是否將客戶端觀測(cè)結(jié)果與服務(wù)端日志交叉驗(yàn)證。把這份清單放進(jìn)評(píng)測(cè)腳本的 README 里每次跑完基準(zhǔn)就逐項(xiàng)打勾可以避免“測(cè)出來很漂亮上線后發(fā)現(xiàn)卡頓”的情況。7. 擴(kuò)展方向從 TTFT 到整套實(shí)時(shí)鏈路評(píng)測(cè)TTFT 只是實(shí)時(shí)語音智能體延遲評(píng)測(cè)的第一步。當(dāng)模型接口的首 token 足夠快之后瓶頸往往會(huì)轉(zhuǎn)移到完整鏈路的其他環(huán)節(jié)ASR 的識(shí)別等待時(shí)間、語義 VAD 的斷句決策、TTS 的合成速度、音頻播放的緩沖策略。評(píng)測(cè)范圍應(yīng)該逐步擴(kuò)展成“用戶說完話”到“系統(tǒng)發(fā)出第一個(gè)聲音”的端到端延遲并把它分解成各模塊耗時(shí)。在工程落地層面推薦為每個(gè)環(huán)節(jié)都建立獨(dú)立埋點(diǎn)ASR 從音頻結(jié)束到文本輸出的耗時(shí)、LLM 的 TTFT 與 TPOT、TTS 從文本到音頻幀的合成耗時(shí)、播放隊(duì)列的緩沖時(shí)間。所有時(shí)間戳統(tǒng)一使用同一時(shí)鐘源并通過請(qǐng)求 ID 串聯(lián)。對(duì)新手來說最值得做的練習(xí)不是直接投入大規(guī)模壓測(cè)而是先用一個(gè)本地模型和一個(gè)流式接口腳本親手把 TTFT 的測(cè)量鏈路跑通理解 Prefill、排隊(duì)、網(wǎng)絡(luò)往返各自貢獻(xiàn)了多少時(shí)間。能準(zhǔn)確說清“首字慢在哪一段”后續(xù)做語音智能體的低延遲優(yōu)化就會(huì)順利很多。