BroadRouter

Token đầu vào và đầu ra (input and output tokens)

Cập nhật

Token đầu vào là token mà model ngôn ngữ đọc trong một request, gồm system prompt, lịch sử hội thoại, định nghĩa tool và hình ảnh. Token đầu ra là token nó sinh ra để trả lời, kể cả phần suy luận. API LLM thường tính giá riêng cho hai loại, và đầu ra thường đắt hơn.

Còn gọi là: token đầu vào, token đầu ra, token đầu vào và đầu ra, giá token đầu vào đầu ra, prompt tokens, completion tokens, input tokens, output tokens

Mỗi request LLM có hai phía: những gì bạn gửi đi và những gì nhận về. API đếm cả hai bằng token, và phần lớn tính phí chúng với mức giá khác nhau.

Cách hoạt động

Đầu vào là mọi thứ trong request: system prompt, mọi tin nhắn trước đó, định nghĩa tool, kết quả tool, tài liệu và hình ảnh. Một cuộc chat nhiều lượt gửi lại toàn bộ lịch sử ở mỗi lượt, nên đầu vào tăng dần theo cuộc hội thoại.

Đầu ra là mọi thứ model sinh ra: câu trả lời hiển thị, lệnh gọi tool và, với model suy luận, các token suy luận bị ẩn.

Khối usage báo cả hai:

"usage": {
  "prompt_tokens": 18000,
  "completion_tokens": 900,
  "prompt_tokens_details": { "cached_tokens": 15000 },
  "completion_tokens_details": { "reasoning_tokens": 600 }
}

Chi phí của một request là:

(new input × input price) + (cached input × cached price) + (output × output price), mỗi mức giá tính trên 1 triệu token.

Nghĩa là: đầu vào mới nhân giá đầu vào, cộng đầu vào từ cache nhân giá cache, cộng đầu ra nhân giá đầu ra.

Vì sao quan trọng

Tỷ lệ giữa hai phía quyết định mức giá nào đáng chú ý. Một trợ lý chat có thể chỉ viết vài trăm token cho một câu hỏi ngắn. Một agent lập trình gửi lại context lớn của cả repository ở mỗi lượt và viết một bản vá ngắn, nên đầu vào có thể nhiều gấp 20 lần đầu ra hoặc hơn. Với agent, giá đầu vào và giá đầu vào từ cache chiếm phần lớn hóa đơn.

Đầu ra vẫn đáng để theo dõi. Model suy luận có thể tốn nhiều token cho việc suy nghĩ hơn là cho câu trả lời, và các token đó bị tính phí như đầu ra. Tỷ lệ giá đầu ra trên đầu vào điển hình của các model chúng tôi theo dõi có trong chỉ số giá API LLM.

Trên BroadNet Inference

Giá trên 1 triệu token, lấy từ tệp giá đã công bố:

Model Đầu vào Đầu vào từ cache Đầu ra
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
GLM 5.3 $0.78 $0.173 $3.46
Qwen3.8 27B $0.175 $0.0435 $2.17
BroadNet Gemma 4 VL 26B $0.10 — $0.22

Trong ví dụ tính toán của BroadNet, một agent lập trình chạy toàn thời gian gửi 1.000 triệu token đầu vào mỗi tháng với 80% trúng cache và nhận về 50 triệu token đầu ra. Trên DeepSeek V4.1 Flash tính theo token, chi phí là $65.40. Gói giá cố định bỏ đồng hồ đo: Full Moon có giá $60 mỗi tháng cho mỗi phiên. Hãy so sánh với số liệu của bạn bằng công cụ tính giá hoặc đọc giá cố định so với trả theo token.

Lỗi thường gặp

  • Chỉ tính giá cho câu trả lời hiển thị mà quên token suy luận.
  • Bỏ qua tốc độ tăng của lịch sử. Lượt thứ 30 của một cuộc chat có thể mang theo đầu vào của cả 30 lượt.

Câu hỏi thường gặp

Prompt tokens và input tokens khác nhau thế nào?

Không khác gì. Định dạng Chat Completions gọi chúng là prompt_tokens và completion_tokens. Các API mới hơn, như Responses API của OpenAI và Messages API của Anthropic, gọi là input_tokens và output_tokens.

Vì sao đầu ra đắt hơn đầu vào?

Model đọc toàn bộ prompt trong một lượt xử lý song song, nhưng sinh đầu ra từng token một, nên mỗi token đầu ra tốn nhiều thời gian GPU hơn.

Định nghĩa tool có bị tính phí không?

Có. Schema của tool và kết quả tool là một phần của prompt, nên chúng là token đầu vào ở mọi request có chứa chúng.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity