Anda memerlukan kiraan token sebelum menghantar permintaan atas tiga sebab: untuk kekal dalam tetingkap konteks, untuk memilih max_tokens yang munasabah, dan untuk menganggar kos. Kiraan tepat hanya datang daripada tokenizer model itu sendiri. Anggaran yang baik datang daripada kalibrasi. Artikel ini menunjukkan kedua-duanya, dengan ukuran sebenar.
Mengapakah kiraan token berbeza antara model?
Tokenizer memecahkan teks kepada kepingan daripada perbendaharaan kata yang tetap. Setiap keluarga model melatih tokenizer sendiri. Perbendaharaan kata yang lebih besar, atau yang dilatih dengan lebih banyak teks sesuatu bahasa, menghasilkan lebih sedikit token untuk bahasa itu. Jadi soalan “berapa token prompt ini” mempunyai jawapan berbeza bagi setiap model.
Kami mengukur mesej khidmat pelanggan pendek yang sama, diterjemah ke dalam empat bahasa, serta satu fungsi Python kecil dan satu objek JSON invois. Kiraan OpenAI datang daripada tiktoken (cl100k_base, era GPT-4, dan o200k_base, era GPT-4o). Kiraan model terbuka datang daripada fail tokenizer yang diterbitkan oleh setiap keluarga di Hugging Face, dikira tanpa templat chat, pada 14 November 2026.
| Teks (makna sama) | Aksara | cl100k_base | o200k_base | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 |
|---|---|---|---|---|---|---|---|
| Inggeris, 31 perkataan | 173 | 37 | 37 | 37 | 38 | 39 | 39 |
| Sepanyol | 160 | 47 | 40 | 50 | 45 | 43 | 42 |
| Arab | 142 | 102 | 46 | 55 | 58 | 48 | 49 |
| Cina | 54 | 51 | 37 | 34 | 35 | 36 | 38 |
| Fungsi Python | 94 | 33 | 33 | 35 | 33 | 35 | 38 |
| JSON invois | 140 | 59 | 60 | 63 | 60 | 72 | 72 |
Satu sampel setiap baris, jadi anggap angka ini sebagai ilustrasi, bukan penanda aras. Namun tiga pengajaran tetap benar. Generasi tokenizer penting: teks Arab berkurang lebih separuh daripada cl100k_base kepada o200k_base. Model terbuka juga berbeza antara satu sama lain: teks Arab yang sama berjulat 48 hingga 58 token, dan JSON 60 hingga 72. Dan kandungan berstruktur padat dengan token di mana-mana: JSON berjalan pada kira-kira 2 aksara setiap token pada setiap tokenizer.
Anda boleh mengulanginya pada teks anda sendiri dengan pengira token percuma, atau pengira bagi setiap keluarga untuk DeepSeek, Qwen dan GPT. Untuk melihat penjimatan daripada suntingan prompt, bandingkan kedua-dua versi dalam prompt token diff. Sebab bahasa Arab khususnya memerlukan lebih banyak token, diukur pada teks yang lebih panjang, dibincangkan dalam token setiap perkataan dalam bahasa Arab vs Inggeris.
Bagaimanakah cara mengira token dengan tepat?
Jika tokenizer model itu awam, muatkannya dan kira secara setempat. Untuk model OpenAI:
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))
Untuk keluarga open-weight, tokenizer biasanya disertakan bersama model di Hugging Face dan dimuatkan dengan AutoTokenizer.from_pretrained(...). Dua kaveat: templat chat menambah token untuk peranan dan pemisah, dan versi yang digunakan oleh penyedia API mungkin berbeza daripada fail awam. Rujukan API BroadNet tidak mendokumentasikan endpoint pengiraan token atau tokenizer bagi setiap model, jadi tokenizer awam memberi anggaran yang hampir dan angka tepatnya ialah usage.prompt_tokens selepas panggilan.
Bagaimanakah cara menganggar token apabila tokenizer tidak awam?
Buat kalibrasi sekali bagi setiap model, kemudian anggarkan secara setempat:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def prompt_tokens(model, text):
r = client.chat.completions.create(
model=model, max_tokens=1000, # room for reasoning on thinking models
messages=[{"role": "user", "content": text}],
)
return r.usage.prompt_tokens
def measure(model, samples: dict[str, list[str]]):
base = prompt_tokens(model, "hi") # chat-template overhead plus one short word
ratios = {}
for kind, texts in samples.items():
chars = toks = 0
for t in texts:
chars += len(t)
toks += prompt_tokens(model, t) - base
ratios[kind] = chars / toks
return ratios # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}
def estimate(text, kind, ratios, overhead=10):
return int(len(text) / ratios[kind]) + overhead
Gunakan 20 atau lebih sampel sebenar bagi setiap jenis kandungan (prompt sebenar anda, bukan lorem ipsum). Permintaan asas satu perkataan membuang overhed tetap templat chat, yang ditambah semula oleh estimate sebagai overhead; tetapkannya kepada asas yang anda ukur. Buat kalibrasi pada model termurah BroadNet hanya jika itulah model yang akan anda panggil: nisbah Gemma 4 VL 26B tidak boleh dipindahkan kepada DeepSeek V4.1 Flash. Imej juga dibilkan sebagai token input, dan imej yang lebih besar menggunakan lebih banyak, jadi kalibrasikan imej secara berasingan mengikut resolusi.
Apakah margin yang patut digunakan untuk max_tokens dan konteks?
Tetingkap merangkumi prompt dan output. Pada model penaakulan, output termasuk proses berfikir yang tersembunyi, dilaporkan sebagai token penaakulan. Bajetkan seperti ini:
- Anggaran prompt = kiraan terkalibrasi × 1.15 (margin keselamatan 15 peratus).
- Bajet jawapan = jawapan terpanjang yang anda terima.
- Bajet penaakulan = untuk model yang berfikir, sekurang-kurangnya 1,000 token; dokumentasi BroadNet mengesyorkan sekurang-kurangnya 1,000 atau
reasoning_effort: "low", kerana had yang kecil boleh memulangkan jawapan kosong. - max_tokens = bajet jawapan + bajet penaakulan.
- Semak: anggaran prompt + max_tokens ≤ tetingkap konteks. Jika tidak, potong prompt, bukan jawapan.
Tetingkap konteks di BroadNet Inference, daripada fail harga yang diterbitkan:
| Model | Tetingkap konteks | Siling prompt praktikal dengan output 16K dan margin 15% |
|---|---|---|
| DeepSeek V4.1 Flash | 1,048,576 | kira-kira 897,000 |
| GLM 5.3 | 1,048,576 | kira-kira 897,000 |
| Qwen3.8 27B | 262,144 | kira-kira 213,000 |
| Gemma 4 VL 26B | 32,768 | kira-kira 14,000 |
Lajur siling ialah (tetingkap − 16,384) ÷ 1.15, dibundarkan ke bawah. Gantikan 16,384 dengan max_tokens anda sendiri.
Apakah kesilapan biasa dalam anggaran token?
- Mengira perkataan dan bukan token. Peraturan 0.75 perkataan setiap token adalah untuk bahasa Inggeris. Sampel Arab kami yang 29 perkataan ialah 46 hingga 102 token bergantung pada tokenizer.
- Terlupa tools dan system prompt. Skema tool ialah JSON, yang padat dengan token. Kira ia sebagai sebahagian daripada prompt.
- Menganggap pemotongan senyap. Sesetengah alat membuang mesej lama tanpa memberitahu anda. BroadNet menyatakan ia tidak memangkas konteks anda, jadi semak saiznya sebelum menghantar dan bukannya bergantung pada pelayan untuk memotongnya. Kalkulator tetingkap konteks membuat semakan ini untuk anda.
- Mengabaikan pertambahan sejarah. Dalam chat atau gelung ejen, prompt bertambah setiap giliran. Semak semula bajet pada setiap panggilan, bukan sekali bagi setiap sesi. Sejarah yang stabil juga lebih mudah dicache; lihat struktur prompt untuk cache.
Jika anda bekerja dalam bahasa Arab, tokenizer ialah satu lagi sebab untuk menguji model pada teks anda sendiri; memilih LLM untuk bahasa Arab merangkumi selebihnya. Untuk menukar kiraan token kepada bil bulanan, lihat cara menganggar kos API LLM sebelum pelancaran.
Di manakah BroadNet Inference sesuai
BroadNet Inference memulangkan prompt_tokens, completion_tokens dan, apabila model melaporkannya, kiraan token cache dan penaakulan dalam setiap respons, iaitu semua yang anda perlukan untuk kalibrasi. Ia tidak menerbitkan endpoint pengiraan atau tokenizer bagi setiap model, jadi kiraan sebelum menghantar ialah anggaran. Kerja konteks panjang pada model 1M token dibincangkan dalam panduan tetingkap konteks, dan harga setiap 1M token ada di halaman harga.
