BroadRouter

Độ trễ LLM: TTFT, token mỗi giây và thời gian end-to-end

Đội ngũ BroadNet Inference · 4 phút đọc · Đăng ngày · Cập nhật

TTFT (thời gian tới token đầu tiên) là thời gian chờ token đầu ra đầu tiên. Token mỗi giây là tốc độ stream. Độ trễ end-to-end là tổng: TTFT cộng thời gian sinh, xấp xỉ token đầu ra chia tốc độ. Độ dài prompt và hàng đợi quyết định TTFT, kích thước model và tải quyết định tốc độ, độ dài câu trả lời quyết định tổng. Hãy đo cả ba ở p50 và p95.

“API chậm quá” có thể mang ba nghĩa khác nhau, và mỗi nghĩa có cách xử lý khác nhau. Người dùng chat chờ chữ đầu tiên. Agent chờ toàn bộ lệnh gọi tool. Job batch quan tâm đến số token mỗi giờ. Bài này định nghĩa ba con số đó, chỉ cách đo chúng từ chính code của bạn, và gắn mỗi cách tối ưu với con số mà nó thực sự tác động.

TTFT, token mỗi giây và độ trễ end-to-end là gì?

Hướng dẫn benchmark của NVIDIA đưa ra định nghĩa rõ ràng, và chúng khớp với những gì bạn quan sát được từ phía client:

Chỉ số Đo gì Ai cảm nhận Phụ thuộc vào
Thời gian tới token đầu tiên (TTFT) Gửi request → nhận token đầu tiên Người dùng chat Mạng, hàng đợi, độ dài prompt (prefill), cache hit
Độ trễ giữa các token (ITL) Khoảng cách trung bình giữa các token Người đọc câu trả lời được stream Kích thước model, phần cứng, tải server
Token mỗi giây trên mỗi người dùng Số token đầu ra sau token đầu tiên ÷ thời gian sinh (từ token đầu tiên tới token cuối); bằng 1 ÷ ITL trung bình Người đọc, agent Giống ITL
Độ trễ end-to-end Gửi request → nhận token cuối cùng Agent, API, batch TTFT + thời gian sinh

Công thức nối chúng lại với nhau:

end-to-end ≈ TTFT + (số token đầu ra − 1) × ITL ≈ TTFT + số token đầu ra ÷ token mỗi giây của mỗi người dùng

Tốc độ trên mỗi người dùng không giống thông lượng của server, tức tổng số token một server tạo ra cho mọi người dùng; nhà cung cấp có thể tăng cái này trong khi cái kia giảm.

Lấy tốc độ điển hình BroadNet công bố cho model của gói, khoảng 100 token mỗi giây. Thời gian sinh tăng theo độ dài câu trả lời: một file code 4.000 token mất khoảng tám mươi lần thời gian sinh so với một lần phân loại 50 token, trong khi cả hai đều chờ cùng một TTFT. Với câu trả lời ngắn, TTFT chiếm phần lớn thời gian chờ; với câu trả lời dài, tốc độ và độ dài chiếm phần lớn.

Vì sao model suy luận cần con số thứ tư?

Các model suy luận như DeepSeek V4.1 Flash suy nghĩ trước khi trả lời, và phần suy nghĩ cũng là token đầu ra. Nếu model dùng 800 token để suy luận ở tốc độ khoảng 100 token mỗi giây, người dùng phải chờ cả 800 token đó được sinh xong mới thấy chữ đầu tiên, dù TTFT trên đường truyền trông vẫn nhanh. Vì vậy hãy đo riêng thời gian tới token nội dung đầu tiên. Trên BroadNet Inference, reasoning_effort: "low" rút ngắn phần suy nghĩ cho các bước đơn giản; hướng dẫn về suy luận giải thích sự đánh đổi.

Đo độ trễ từ phía client thế nào?

Hãy đo ở nơi người dùng của bạn đang ở, với streaming được bật. Bộ đếm thời gian phía server bỏ sót mạng và mọi proxy ở giữa.

import os, time, statistics
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def timed(model, messages, max_tokens=1500):
    t0 = time.perf_counter()
    first = first_content = None
    usage = None
    stream = client.chat.completions.create(
        model=model, messages=messages, max_tokens=max_tokens,
        stream=True, stream_options={"include_usage": True},
    )
    for chunk in stream:
        now = time.perf_counter()
        if chunk.choices:
            if first is None:
                first = now
            if chunk.choices[0].delta.content and first_content is None:
                first_content = now
        if chunk.usage:
            usage = chunk.usage
    end = time.perf_counter()
    out = usage.completion_tokens if usage else 0
    return {
        "ttft": first - t0,
        "ttfct": (first_content or end) - t0,
        "e2e": end - t0,
        "tps": (out - 1) / (end - first) if out > 1 and end > first else 0,
        "prompt_tokens": usage.prompt_tokens if usage else None,
    }

runs = [timed("broadnet/gemma-4-26b-a4b", [{"role": "user", "content": "Summarise SSE in 100 words."}]) for _ in range(50)]
for k in ("ttft", "ttfct", "e2e", "tps"):
    xs = sorted(r[k] for r in runs)
    print(k, "p50", round(statistics.median(xs), 3), "p95", round(xs[int(len(xs) * 0.95) - 1], 3))

Năm quy tắc cho một benchmark công bằng:

  1. Cố định độ dài prompt và báo cáo nó. TTFT ở 500 token prompt và ở 200.000 token là hai con số khác nhau. Công cụ đếm token cho bạn biết prompt thử dài bao nhiêu trước khi gửi.
  2. Cố định độ dài đầu ra bằng max_tokens và một prompt đủ để lấp đầy nó, để token mỗi giây so sánh được.
  3. Báo cáo p50 và p95, không phải giá trị trung bình. Độ trễ phần đuôi là thứ người dùng nhớ.
  4. Rải các lần chạy theo thời gian. Tải thay đổi trong ngày.
  5. Khởi động trước. Lệnh gọi đầu tiên phải trả cho DNS, TLS và thiết lập kết nối; hãy dùng lại một client.

Điều gì thực sự cải thiện từng con số?

Muốn cải thiện Làm gì Vì sao
TTFT Rút ngắn hoặc cache tiền tố prompt Thời gian prefill tăng theo độ dài prompt; tiền tố được cache bỏ qua được phần việc
TTFT Giữ kết nối sẵn sàng, dùng khu vực gần Bỏ được thời gian thiết lập và các vòng khứ hồi
Thời gian tới token nội dung đầu tiên Hạ mức suy luận, hoặc dùng model không suy luận cho bước đơn giản Ít suy nghĩ ẩn hơn trước câu trả lời
Token mỗi giây Dùng model nhỏ hơn hoặc nhanh hơn cho bước đó Tốc độ decode phụ thuộc kích thước model và cách phục vụ
End-to-end Yêu cầu đầu ra ngắn hơn (schema, giới hạn số từ) Độ dài đầu ra nhân với ITL
End-to-end cho nhiều lệnh gọi Chạy song song các lệnh gọi độc lập trong giới hạn đồng thời Thời gian thực tế giảm dù từng lệnh gọi vẫn như cũ
Độ trễ cảm nhận Stream tới người dùng Họ đọc trong khi model đang viết

Độ dài đầu ra là đòn bẩy bị đánh giá thấp nhất. Yêu cầu “JSON với bốn trường này” thay vì “giải thích câu trả lời của bạn” có thể cắt thời gian sinh đi một bậc độ lớn mà không cần động đến hạ tầng. Đầu ra có cấu trúc giúp ích ở đây.

Đòn bẩy cache được trình bày trong cấu trúc prompt để tận dụng cache. Đòn bẩy song song nhanh chóng đụng giới hạn tốc độ; xem xử lý lỗi 429.

Độ dài prompt thay đổi sự đánh đổi thế nào?

TTFT tăng theo prompt vì model phải xử lý mọi token đầu vào trước khi có thể viết. Đó là chi phí ẩn của prompt rất dài và là một phần của quyết định context dài hay RAG: một prompt 1M token trả lời được những câu hỏi RAG không trả lời được, nhưng bắt đầu chậm hơn. Nếu tốc độ tương tác quan trọng, hãy giữ đường đi chính thật ngắn và chỉ gửi context lớn khi câu hỏi cần đến.

BroadNet Inference phù hợp ở đâu?

BroadNet công bố tốc độ điển hình khoảng 100 token mỗi giây cho model của gói và stream theo định dạng SSE chuẩn, nên đoạn code trên chạy được mà không cần sửa. BroadNet không công bố số liệu TTFT hay SLA về độ trễ, vì vậy hãy đo trên prompt của chính bạn trước khi cam kết; một giờ Meteor giá $1 là đủ cho benchmark 50 lần chạy, và tín dụng khởi đầu đủ cho một lần như vậy trên Gemma 4 VL 26B. Nếu bạn cần độ trễ dưới một giây được đảm bảo ở quy mô lớn, hãy thử nghiệm kỹ: một key trả theo mức dùng cho phép 4 request đang chạy, phù hợp với ứng dụng và agent hơn là phục vụ thời gian thực khối lượng lớn. Các model và giá có trên trang model và bảng giá.

Câu hỏi thường gặp

Thời gian tới token đầu tiên (TTFT) bao nhiêu là tốt cho API LLM?

Với chat, dưới khoảng một giây trên prompt ngắn là cảm thấy nhanh. Prompt dài và model suy luận vốn mất nhiều thời gian hơn. Chỉ so sánh TTFT ở cùng độ dài prompt và cùng model.

Token mỗi giây có giống thông lượng không?

Không hẳn. Token mỗi giây trên mỗi người dùng là tốc độ một câu trả lời được stream. Thông lượng là tổng số token một server tạo ra cho mọi người dùng. Nhà cung cấp có thể tăng tổng thông lượng trong khi tốc độ của từng người dùng giảm xuống.

Vì sao TTFT của model suy luận cao như vậy?

Model tạo ra token suy luận ẩn trước câu trả lời hiển thị. Token đầu tiên có thể đến nhanh, nhưng token nội dung đầu tiên phải chờ đến khi suy nghĩ xong. Hãy hạ reasoning_effort cho tác vụ đơn giản.

Streaming có giảm độ trễ không?

Nó không rút ngắn thời gian end-to-end. Nó cho người dùng đọc câu trả lời trong khi câu trả lời vẫn đang được viết, nên độ trễ cảm nhận giảm xuống gần bằng TTFT.

Cần bao nhiêu request cho một benchmark độ trễ đáng tin cậy?

Đủ để thấy phần đuôi. Năm mươi đến một trăm request cho mỗi kích thước prompt sẽ cho p95 dùng được. Hãy rải chúng ra trong ngày, vì tải thay đổi.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity