BroadRouter
Mulai

Token

Diperbarui

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

Disebut juga: token LLM, token AI, apa itu token, tokenisasi, tokens, LLM token, tokenization

Model tidak melihat huruf atau kata. Model melihat deretan bilangan bulat, masing-masing mewakili potongan teks dari kosakata yang tetap. Potongan-potongan itulah token.

Cara kerjanya

Tokenizer memecah teks sebelum model membacanya. Sebagian besar model modern memakai metode subkata seperti byte pair encoding (BPE). Kata yang umum tetap utuh; kata yang jarang dipecah menjadi beberapa bagian. Contoh dari Hugging Face: annoyingly bisa menjadi annoying dan ly.

BPE tingkat byte dimulai dari 256 nilai byte, sehingga input apa pun bisa dikodekan, termasuk emoji dan semua aksara.

Untuk bahasa Inggris, patokan OpenAI adalah sekitar 4 karakter atau 0,75 kata per token, jadi 100 token kira-kira 75 kata. Pengukuran kami sendiri pada prosa bahasa Inggris dengan lima tokenizer terkini menghasilkan sekitar 129 token per 100 kata, atau 1,290 token per 1.000 kata, dekat dengan patokan tersebut. Kedua rasio hanyalah perkiraan:

  • bahasa lain, termasuk bahasa Arab, sering terpecah menjadi lebih banyak token per kata pada tokenizer yang sebagian besar dilatih dengan bahasa Inggris;
  • kode, angka, dan spasi ditokenisasi berbeda dari prosa;
  • setiap keluarga model punya kosakata sendiri.

Untuk memperkirakan sebelum mengirim, tempel teks ke penghitung token. API melaporkan jumlah sebenarnya di blok usage pada setiap respons:

"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }

Kenapa ini penting

Token adalah satuan di balik hampir setiap angka pada API LLM:

  • Harga. API per token menagih per 1 juta token input dan output, sering dengan tarif berbeda.
  • Batas. Context window dan max_tokens diukur dalam token, dan banyak rate limit menghitung token per menit.
  • Kecepatan. Kecepatan generasi dinyatakan dalam token per detik.

Teks yang sama bisa menjadi jumlah token yang berbeda di model yang berbeda, terutama dalam bahasa Arab. Dataset efisiensi tokenizer mengukur token per 100 kata untuk setiap model dalam bahasa Inggris, bahasa Arab, dan kode.

Di BroadNet Inference

Model chat dihargai per 1 juta token. Untuk DeepSeek V4.1 Flash, input baru dikenai $0.175, input cache $0.0055, dan output $0.52. BroadNet Gemma 4 VL 26B dikenai $0.10 untuk input dan $0.22 untuk output. Tarif setiap model ada di halaman harga.

Pada paket harga tetap, token sama sekali tidak dihitung: satu sesi DeepSeek V4.1 Flash tidak punya meteran token, dan batas praktisnya adalah kecepatan, sekitar 100 token per detik. Model speech-to-text ditagih per menit audio, bukan per token.

Kesalahan umum

  • Memperkirakan biaya dari jumlah kata untuk teks non-Inggris. Ukur dengan usage pada sampel nyata.
  • Lupa bahwa model penalaran juga menghabiskan token output untuk berpikir. Lihat token penalaran.

Pertanyaan umum

1.000 token itu berapa kata?

Untuk prosa bahasa Inggris, sekitar 775 kata menurut pengukuran BroadRouter sendiri pada lima tokenizer (1.000 kata bahasa Inggris menjadi sekitar 1,290 token). Patokan OpenAI, yaitu satu token kira-kira tiga perempat kata, menghasilkan 750. Bahasa lain, kode, dan tokenizer model lain memberi rasio berbeda, jadi hitung dengan tokenizer model itu sendiri jika angkanya penting.

Apakah gambar dan audio juga dihitung sebagai token?

Gambar yang dikirim ke model visi dikonversi menjadi token input, dan gambar yang lebih besar biasanya memakai lebih banyak token. API speech-to-text sering dihargai per menit audio, bukan per token.

Kenapa teks yang sama memakai jumlah token berbeda di dua model?

Setiap keluarga model punya tokenizer dan kosakata sendiri, sehingga kalimat yang sama bisa terpecah menjadi jumlah potongan yang berbeda.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity