Tokenizer menentukan berapa token yang dihasilkan teks Anda, dan karena itu berapa banyak context window dan tagihan yang terpakai.
Cara kerjanya
Tokenizer punya dua bagian: vocabulary tetap yang memetakan potongan teks ke ID bilangan bulat, dan aturan untuk memecah teks menjadi potongan-potongan itu. Dokumentasi Hugging Face menggambarkan algoritma yang umum sebagai metode subword: kata yang sering muncul tetap utuh dan kata yang jarang dipecah menjadi potongan kecil yang sudah dikenal, sehingga “annoyingly” bisa menjadi “annoying” + “ly”. Sebagian besar LLM saat ini memakai byte pair encoding atau variannya.
Encoding berjalan dalam tiga langkah:
- Pra-tokenisasi. Pecah berdasarkan spasi, tanda baca, dan angka.
- Petakan potongan ke ID. Terapkan merge yang sudah dipelajari dan cari setiap potongan di vocabulary.
- Tambahkan token khusus. Chat template membungkus pesan dengan penanda peran, yang juga ikut dihitung.
Decoding membalik langkah 2. Untuk model open-weight, semua ini ada di file tokenizer.json di repo model.
Mengapa penting
Tokenizer yang berbeda memberi jumlah berbeda untuk teks yang sama. Kami meng-encode teks dataset dengan tokenizer yang dikunci versinya untuk setiap model (Inggris: prosa Wikipedia dan Project Gutenberg; Arab: 2,009 kalimat FLORES-200 ditambah tiga paragraf pembuka Wikipedia; diukur 2026-11-15; token per 100 kata = token / kata x 100):
| Teks | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
|---|---|---|---|---|---|
| Prosa Inggris, 1,183 kata | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| Arab MSA, 39,037 kata | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |
Bahasa Inggris hasilnya mirip di semua model. Bahasa Arab tidak: GLM 5.3 butuh 95,230 / 71,424 = 1.33 kali token yang dibutuhkan Qwen3.8 27B untuk teks yang sama. Dengan harga per token, selisih itu adalah selisih biaya, dan juga mengubah seberapa banyak teks Arab yang muat di context window. Kolom Gemma memakai tokenizer dasar Gemma 4 dari Google; build BroadNet berbasis model tersebut, dan kami berasumsi tokenizer-nya tidak diubah. Angka lengkap per model, dengan unduhan CSV dan JSON, ada di dataset efisiensi tokenizer.
Di BroadNet Inference
BroadNet menagih chat bayar sesuai pemakaian berdasarkan token input dan output dan melaporkan jumlahnya di objek usage pada setiap respons, jadi angka yang berlaku adalah angka yang dikembalikan API. Untuk memperkirakan sebelum mengirim, tempel teks ke penghitung token atau penghitung token bahasa Arab, yang memuat file tokenizer yang sama. Pengukuran lengkapnya ada di token per kata dalam bahasa Arab dan Inggris.
Kesalahan umum
- Menghitung dengan tokenizer satu model tetapi ditagih oleh model lain. Pakai tokenizer dari model yang Anda panggil.
- Melupakan chat template. Penanda peran dan system prompt menambah token yang tidak terhitung oleh penghitungan teks biasa.