Anda perlu tahu jumlah token sebelum mengirim permintaan karena tiga alasan: agar tetap di dalam context window, agar bisa memilih max_tokens yang masuk akal, dan agar bisa memperkirakan biaya. Hitungan yang persis hanya datang dari tokenizer model itu sendiri. Perkiraan yang baik datang dari kalibrasi. Artikel ini menunjukkan keduanya, dengan pengukuran nyata.
Kenapa jumlah token berbeda antarmodel?
Tokenizer memecah teks menjadi potongan dari kosakata yang tetap. Setiap keluarga model melatih tokenizer-nya sendiri. Kosakata yang lebih besar, atau yang dilatih dengan lebih banyak data dalam bahasa tertentu, menghasilkan lebih sedikit token untuk bahasa itu. Jadi pertanyaan “prompt ini berapa token” punya jawaban berbeda untuk setiap model.
Kami mengukur satu pesan layanan pelanggan pendek yang sama, diterjemahkan ke empat bahasa, ditambah satu fungsi Python kecil dan satu objek JSON faktur. Hitungan OpenAI berasal dari tiktoken (cl100k_base, era GPT-4, dan o200k_base, era GPT-4o). Hitungan model terbuka berasal dari file tokenizer yang dipublikasikan setiap keluarga di Hugging Face, dihitung tanpa chat template, pada 14 November 2026.
| Teks (makna sama) | Karakter | cl100k_base | o200k_base | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 |
|---|---|---|---|---|---|---|---|
| Bahasa Inggris, 31 kata | 173 | 37 | 37 | 37 | 38 | 39 | 39 |
| Bahasa Spanyol | 160 | 47 | 40 | 50 | 45 | 43 | 42 |
| Bahasa Arab | 142 | 102 | 46 | 55 | 58 | 48 | 49 |
| Bahasa Mandarin | 54 | 51 | 37 | 34 | 35 | 36 | 38 |
| Fungsi Python | 94 | 33 | 33 | 35 | 33 | 35 | 38 |
| JSON faktur | 140 | 59 | 60 | 63 | 60 | 72 | 72 |
Satu sampel per baris, jadi anggap angka-angka ini sebagai ilustrasi, bukan benchmark. Meski begitu, tiga pelajaran tetap berlaku. Generasi tokenizer berpengaruh: teks bahasa Arab menyusut lebih dari separuh dari cl100k_base ke o200k_base. Model terbuka juga berbeda satu sama lain: teks Arab yang sama berkisar 48 sampai 58 token, dan JSON-nya 60 sampai 72. Dan konten terstruktur padat token di mana pun: JSON rata-rata sekitar 2 karakter per token di semua tokenizer.
Anda bisa mengulanginya dengan teks Anda sendiri di penghitung token gratis, atau penghitung per keluarga untuk DeepSeek, Qwen, dan GPT. Untuk melihat berapa yang dihemat sebuah suntingan prompt, bandingkan kedua versinya di prompt token diff. Kenapa bahasa Arab khususnya memakan lebih banyak token, diukur pada teks yang lebih panjang, dibahas di token per kata dalam bahasa Arab vs Inggris.
Bagaimana cara menghitung token secara persis?
Jika tokenizer model itu publik, muat dan hitung secara lokal. Untuk model OpenAI:
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))
Untuk keluarga open-weight, tokenizer biasanya disertakan bersama model di Hugging Face dan dimuat dengan AutoTokenizer.from_pretrained(...). Ada dua catatan: chat template menambahkan token untuk peran dan pemisah, dan versi yang di-deploy penyedia API bisa berbeda dari file publiknya. Referensi API BroadNet tidak mendokumentasikan endpoint penghitung token atau tokenizer untuk setiap model, jadi tokenizer publik memberi perkiraan yang dekat, dan angka persisnya adalah usage.prompt_tokens setelah panggilan.
Bagaimana memperkirakan token jika tokenizer-nya tidak publik?
Kalibrasi sekali per model, lalu perkirakan secara lokal:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def prompt_tokens(model, text):
r = client.chat.completions.create(
model=model, max_tokens=1000, # room for reasoning on thinking models
messages=[{"role": "user", "content": text}],
)
return r.usage.prompt_tokens
def measure(model, samples: dict[str, list[str]]):
base = prompt_tokens(model, "hi") # chat-template overhead plus one short word
ratios = {}
for kind, texts in samples.items():
chars = toks = 0
for t in texts:
chars += len(t)
toks += prompt_tokens(model, t) - base
ratios[kind] = chars / toks
return ratios # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}
def estimate(text, kind, ratios, overhead=10):
return int(len(text) / ratios[kind]) + overhead
Pakai 20 sampel nyata atau lebih per jenis konten (prompt Anda yang sebenarnya, bukan lorem ipsum). Permintaan dasar satu kata menghapus overhead tetap dari chat template, yang ditambahkan kembali oleh estimate sebagai overhead; isi dengan baseline yang Anda ukur. Kalibrasi pada model termurah BroadNet hanya jika model itulah yang akan Anda panggil: rasio Gemma 4 VL 26B tidak berlaku untuk DeepSeek V4.1 Flash. Gambar juga ditagih sebagai token input, dan gambar yang lebih besar memakai lebih banyak token, jadi kalibrasi gambar secara terpisah per resolusi.
Margin apa yang sebaiknya dipakai untuk max_tokens dan konteks?
Window mencakup prompt dan output. Pada model penalaran, output termasuk proses berpikir tersembunyi, yang dilaporkan sebagai token penalaran. Anggarkan seperti ini:
- Perkiraan prompt = hitungan terkalibrasi × 1,15 (margin keamanan 15 persen).
- Anggaran jawaban = jawaban terpanjang yang Anda terima.
- Anggaran penalaran = untuk model thinking, minimal 1.000 token; dokumentasi BroadNet merekomendasikan minimal 1.000 atau
reasoning_effort: "low", karena batas yang kecil bisa menghasilkan jawaban kosong. - max_tokens = anggaran jawaban + anggaran penalaran.
- Cek: perkiraan prompt + max_tokens ≤ context window. Jika tidak muat, pangkas prompt-nya, bukan jawabannya.
Context window di BroadNet Inference, dari file harga yang dipublikasikan:
| Model | Context window | Batas prompt praktis dengan output 16K dan margin 15% |
|---|---|---|
| DeepSeek V4.1 Flash | 1.048.576 | sekitar 897.000 |
| GLM 5.3 | 1.048.576 | sekitar 897.000 |
| Qwen3.8 27B | 262.144 | sekitar 213.000 |
| Gemma 4 VL 26B | 32.768 | sekitar 14.000 |
Kolom batas dihitung dengan (window − 16.384) ÷ 1,15, dibulatkan ke bawah. Ganti 16.384 dengan max_tokens Anda sendiri.
Apa yang sering salah dalam estimasi token?
- Menghitung kata, bukan token. Aturan 0,75 kata per token berlaku untuk bahasa Inggris. Sampel bahasa Arab kami yang berisi 29 kata bernilai 46 sampai 102 token, tergantung tokenizer-nya.
- Lupa tools dan system prompt. Skema tool berupa JSON, yang padat token. Hitung sebagai bagian dari prompt.
- Mengira ada pemotongan diam-diam. Beberapa alat membuang pesan lama tanpa memberi tahu Anda. BroadNet menyatakan tidak memangkas konteks Anda, jadi periksa ukurannya sebelum mengirim, alih-alih mengandalkan server untuk memotongnya. Kalkulator context window melakukan pengecekan itu untuk Anda.
- Mengabaikan pertumbuhan riwayat. Dalam chat atau loop agen, prompt bertambah setiap giliran. Cek ulang anggarannya di setiap panggilan, bukan sekali per sesi. Riwayat yang stabil juga lebih mudah di-cache; lihat struktur prompt untuk caching.
Jika Anda bekerja dengan bahasa Arab, tokenizer adalah satu alasan lagi untuk menguji model dengan teks Anda sendiri; sisanya dibahas di memilih LLM untuk bahasa Arab. Untuk mengubah jumlah token menjadi tagihan bulanan, lihat cara memperkirakan biaya API LLM sebelum peluncuran.
Posisi BroadNet Inference
BroadNet Inference mengembalikan prompt_tokens, completion_tokens, dan, jika model melaporkannya, jumlah token cache dan token penalaran di setiap respons; itu sudah cukup untuk kalibrasi. BroadNet tidak memublikasikan endpoint penghitung atau tokenizer per model, jadi hitungan sebelum pengiriman adalah perkiraan. Pekerjaan konteks panjang pada model 1M token dibahas di panduan context window, dan harga per 1M token ada di halaman harga.
