Model tidak melihat huruf atau kata. Model melihat deretan bilangan bulat, masing-masing mewakili potongan teks dari kosakata yang tetap. Potongan-potongan itulah token.
Cara kerjanya
Tokenizer memecah teks sebelum model membacanya. Sebagian besar model modern memakai metode subkata seperti byte pair encoding (BPE). Kata yang umum tetap utuh; kata yang jarang dipecah menjadi beberapa bagian. Contoh dari Hugging Face: annoyingly bisa menjadi annoying dan ly.
BPE tingkat byte dimulai dari 256 nilai byte, sehingga input apa pun bisa dikodekan, termasuk emoji dan semua aksara.
Untuk bahasa Inggris, patokan OpenAI adalah sekitar 4 karakter atau 0,75 kata per token, jadi 100 token kira-kira 75 kata. Pengukuran kami sendiri pada prosa bahasa Inggris dengan lima tokenizer terkini menghasilkan sekitar 129 token per 100 kata, atau 1,290 token per 1.000 kata, dekat dengan patokan tersebut. Kedua rasio hanyalah perkiraan:
- bahasa lain, termasuk bahasa Arab, sering terpecah menjadi lebih banyak token per kata pada tokenizer yang sebagian besar dilatih dengan bahasa Inggris;
- kode, angka, dan spasi ditokenisasi berbeda dari prosa;
- setiap keluarga model punya kosakata sendiri.
Untuk memperkirakan sebelum mengirim, tempel teks ke penghitung token. API melaporkan jumlah sebenarnya di blok usage pada setiap respons:
"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }
Kenapa ini penting
Token adalah satuan di balik hampir setiap angka pada API LLM:
- Harga. API per token menagih per 1 juta token input dan output, sering dengan tarif berbeda.
- Batas. Context window dan
max_tokensdiukur dalam token, dan banyak rate limit menghitung token per menit. - Kecepatan. Kecepatan generasi dinyatakan dalam token per detik.
Teks yang sama bisa menjadi jumlah token yang berbeda di model yang berbeda, terutama dalam bahasa Arab. Dataset efisiensi tokenizer mengukur token per 100 kata untuk setiap model dalam bahasa Inggris, bahasa Arab, dan kode.
Di BroadNet Inference
Model chat dihargai per 1 juta token. Untuk DeepSeek V4.1 Flash, input baru dikenai $0.175, input cache $0.0055, dan output $0.52. BroadNet Gemma 4 VL 26B dikenai $0.10 untuk input dan $0.22 untuk output. Tarif setiap model ada di halaman harga.
Pada paket harga tetap, token sama sekali tidak dihitung: satu sesi DeepSeek V4.1 Flash tidak punya meteran token, dan batas praktisnya adalah kecepatan, sekitar 100 token per detik. Model speech-to-text ditagih per menit audio, bukan per token.
Kesalahan umum
- Memperkirakan biaya dari jumlah kata untuk teks non-Inggris. Ukur dengan
usagepada sampel nyata. - Lupa bahwa model penalaran juga menghabiskan token output untuk berpikir. Lihat token penalaran.