Model không nhìn thấy chữ cái hay từ ngữ. Nó nhìn thấy một dãy số nguyên, mỗi số đại diện cho một mảnh văn bản trong một bộ từ vựng cố định. Những mảnh đó là token.
Cách hoạt động
Tokenizer tách văn bản trước khi model đọc. Phần lớn model hiện nay dùng phương pháp subword như byte pair encoding (BPE). Từ phổ biến được giữ nguyên; từ hiếm bị tách thành nhiều phần. Ví dụ của Hugging Face: annoyingly có thể thành annoying và ly.
BPE cấp byte bắt đầu từ 256 giá trị byte, nên mọi đầu vào đều mã hóa được, kể cả emoji và mọi hệ chữ viết.
Với tiếng Anh, quy tắc ước lượng của OpenAI là khoảng 4 ký tự hoặc 0,75 từ cho mỗi token, tức 100 token vào khoảng 75 từ. Đo đạc của chính chúng tôi trên văn xuôi tiếng Anh với năm tokenizer hiện hành cho ra khoảng 129 token cho 100 từ, hay 1,290 token cho 1.000 từ, gần với quy tắc ước lượng. Tỷ lệ nào cũng chỉ là ước tính:
- các ngôn ngữ khác, kể cả tiếng Ả Rập, thường bị tách thành nhiều token hơn cho mỗi từ trên những tokenizer được huấn luyện chủ yếu bằng tiếng Anh;
- code, số và khoảng trắng được tách token khác với văn xuôi;
- mỗi họ model có bộ từ vựng riêng.
Để ước tính trước khi gửi, hãy dán văn bản vào công cụ đếm token. API báo số token thực tế trong khối usage của mỗi phản hồi:
"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }
Vì sao quan trọng
Token là đơn vị đứng sau gần như mọi con số của một API LLM:
- Giá. API tính theo token tính phí trên 1 triệu token đầu vào và đầu ra, thường với hai mức giá khác nhau.
- Giới hạn. Context window và
max_tokensđược đo bằng token, và nhiều giới hạn tần suất đếm số token mỗi phút. - Tốc độ. Tốc độ sinh văn bản được tính bằng token mỗi giây.
Cùng một đoạn văn bản có thể có số token khác nhau trên các model khác nhau, nhất là với tiếng Ả Rập. Bộ dữ liệu hiệu quả tokenizer đo số token trên 100 từ của từng model với tiếng Anh, tiếng Ả Rập và code.
Trên BroadNet Inference
Model chat được tính giá trên 1 triệu token. Với DeepSeek V4.1 Flash, đầu vào mới có giá $0.175, đầu vào từ cache có giá $0.0055 và đầu ra có giá $0.52. BroadNet Gemma 4 VL 26B có giá $0.10 đầu vào và $0.22 đầu ra. Giá của mọi model có trên trang giá.
Với gói giá cố định, token hoàn toàn không bị đo: một phiên DeepSeek V4.1 Flash không có đồng hồ đo token, và giới hạn thực tế là tốc độ: khoảng 100 token mỗi giây. Model chuyển giọng nói thành văn bản tính phí theo phút âm thanh, không theo token.
Lỗi thường gặp
- Ước tính chi phí từ số từ với văn bản không phải tiếng Anh. Hãy đo bằng
usagetrên mẫu thực tế. - Quên rằng model suy luận cũng tốn token đầu ra cho việc suy nghĩ. Xem token suy luận.