BroadRouter
Mulakan

Token

Dikemas kini

Token ialah unit teks yang dibaca dan ditulis oleh model bahasa: satu perkataan, sebahagian perkataan, tanda baca atau jujukan bait yang dihasilkan oleh tokenizer model itu. API LLM mengira, mengehadkan dan biasanya mengebil penggunaan dalam token.

Juga dikenali sebagai: token LLM, token AI, pentokenan, tokenization, LLM token, tokens

Model tidak melihat huruf atau perkataan. Ia melihat jujukan integer, setiap satunya mewakili cebisan teks daripada perbendaharaan kata yang tetap. Cebisan itulah token.

Cara ia berfungsi

Tokenizer memecahkan teks sebelum model membacanya. Kebanyakan model moden menggunakan kaedah subkata seperti byte pair encoding (BPE). Perkataan biasa kekal utuh; perkataan jarang dipecahkan kepada bahagian. Contoh Hugging Face: annoyingly mungkin menjadi annoying dan ly.

BPE peringkat bait bermula daripada 256 nilai bait, jadi sebarang input boleh dikodkan, termasuk emoji dan setiap sistem tulisan.

Untuk bahasa Inggeris, anggaran kasar OpenAI ialah kira-kira 4 aksara atau 0.75 perkataan setiap token, jadi 100 token lebih kurang 75 perkataan. Ukuran kami sendiri pada prosa bahasa Inggeris dengan lima tokenizer semasa memberikan kira-kira 129 token setiap 100 perkataan, atau 1,290 token setiap 1,000 perkataan, hampir dengan anggaran kasar itu. Kedua-dua nisbah hanyalah anggaran:

  • bahasa lain, termasuk bahasa Arab, selalunya dipecahkan kepada lebih banyak token setiap perkataan pada tokenizer yang dilatih kebanyakannya dengan bahasa Inggeris;
  • kod, nombor dan ruang kosong ditokenkan secara berbeza daripada prosa;
  • setiap keluarga model mempunyai perbendaharaan kata sendiri.

Untuk membuat anggaran sebelum menghantar, tampal teks ke dalam pengira token. API melaporkan bilangan sebenar dalam blok usage setiap respons:

"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }

Mengapa ia penting

Token ialah unit di sebalik hampir setiap angka pada API LLM:

  • Harga. API setiap token mengebil bagi setiap 1M token input dan output, selalunya pada kadar berbeza.
  • Had. Tetingkap konteks dan max_tokens diukur dalam token, dan banyak had kadar mengira token seminit.
  • Kelajuan. Kelajuan penjanaan dinyatakan dalam token sesaat.

Teks yang sama boleh menjadi bilangan token yang berbeza pada model berlainan, terutamanya dalam bahasa Arab. Set data kecekapan tokenizer mengukur token setiap 100 perkataan bagi setiap model dalam bahasa Inggeris, bahasa Arab dan kod.

Di BroadNet Inference

Model chat berharga setiap 1M token. Untuk DeepSeek V4.1 Flash, input baharu berharga $0.175, input cache $0.0055 dan output $0.52. BroadNet Gemma 4 VL 26B berharga $0.10 untuk input dan $0.22 untuk output. Kadar setiap model ada di halaman harga.

Pada pelan harga tetap, token langsung tidak dimeter: sesi DeepSeek V4.1 Flash tiada meter token, dan had praktikalnya ialah kelajuan, kira-kira 100 token sesaat. Model speech-to-text dibilkan setiap minit audio, bukan setiap token.

Kesilapan biasa

  • Menganggar kos daripada bilangan perkataan untuk teks bukan bahasa Inggeris. Ukur dengan usage pada sampel sebenar.
  • Terlupa bahawa model penaakulan juga menggunakan token output untuk berfikir. Lihat token penaakulan.

Soalan lazim

Berapakah bilangan perkataan dalam 1,000 token?

Untuk prosa bahasa Inggeris, kira-kira 775 perkataan menurut ukuran BroadRouter sendiri merentas lima tokenizer (1,000 perkataan Inggeris menjadi kira-kira 1,290 token). Anggaran kasar OpenAI, iaitu satu token lebih kurang tiga suku perkataan, memberikan 750. Bahasa lain, kod dan tokenizer model lain memberikan nisbah yang berbeza, jadi kira dengan tokenizer model itu sendiri apabila ketepatan penting.

Adakah imej dan audio dikira sebagai token?

Imej yang dihantar kepada model penglihatan ditukar kepada token input, dan imej yang lebih besar biasanya menggunakan lebih banyak token. API speech-to-text pula selalunya berharga setiap minit audio, bukan setiap token.

Mengapakah teks yang sama menggunakan bilangan token berbeza pada dua model?

Setiap keluarga model mempunyai tokenizer dan perbendaharaan kata sendiri, jadi ayat yang sama boleh dipecahkan kepada bilangan cebisan yang berbeza.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity