BroadRouter
Magsimula

Token

Na-update

Ang token ay ang yunit ng text na binabasa at isinusulat ng isang language model: isang salita, bahagi ng salita, bantas o byte sequence na ginawa ng tokenizer ng model. Sa token binibilang, nililimitahan at kadalasang sinisingil ng mga LLM API ang paggamit.

Tinatawag ding: token sa LLM, mga token, tokenization, LLM token, tokens

Hindi letra o salita ang nakikita ng mga model. Sunod-sunod na integer ang nakikita nila, at ang bawat isa ay kumakatawan sa isang piraso ng text mula sa isang fixed na vocabulary. Ang mga pirasong iyon ang mga token.

Paano ito gumagana

Hinahati ng tokenizer ang text bago ito basahin ng model. Karamihan sa mga modernong model ay gumagamit ng subword na paraan gaya ng byte pair encoding (BPE). Buo ang mga karaniwang salita; nahahati naman sa mga bahagi ang mga bihirang salita. Halimbawa ng Hugging Face: puwedeng maging annoying at ly ang annoyingly.

Nagsisimula ang byte-level BPE sa 256 na byte value, kaya kahit anong input ay puwedeng i-encode, kasama ang emoji at bawat sistema ng pagsulat.

Para sa Ingles, ang rule of thumb ng OpenAI ay mga 4 na character o 0.75 salita kada token, kaya mga 75 salita ang 100 token. Sa sarili naming sukat ng Ingles na prosa sa limang kasalukuyang tokenizer, umabot ito sa mga 129 token kada 100 salita, o 1,290 token kada 1,000 salita, malapit sa rule of thumb. Tantiya lang ang alinmang ratio:

  • madalas mas maraming token kada salita ang ibang wika, kasama ang Arabic, sa mga tokenizer na karamihang tinrain sa Ingles;
  • iba ang pag-tokenize sa code, mga numero at whitespace kumpara sa prosa;
  • may sariling vocabulary ang bawat model family.

Para tantiyahin bago magpadala, i-paste ang text sa token counter. Iniuulat ng API ang totoong bilang sa usage block ng bawat response:

"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }

Bakit ito mahalaga

Ang token ang yunit sa likod ng halos lahat ng numero sa isang LLM API:

  • Presyo. Sinisingil ng mga per-token na API ang kada 1M na input at output token, madalas sa magkaibang rate.
  • Mga limit. Sa token sinusukat ang context window at ang max_tokens, at maraming rate limit ang nagbibilang ng token kada minuto.
  • Bilis. Sa tokens per second sinusukat ang bilis ng pagbuo ng sagot.

Puwedeng iba ang bilang ng token ng parehong text sa magkaibang model, lalo na sa Arabic. Sinusukat ng tokenizer efficiency dataset ang token kada 100 salita para sa bawat model sa Ingles, Arabic at code.

Sa BroadNet Inference

Kada 1M token ang presyo ng mga chat model. Sa DeepSeek V4.1 Flash, $0.175 ang bagong input, $0.0055 ang cached input at $0.52 ang output. Ang BroadNet Gemma 4 VL 26B ay $0.10 sa input at $0.22 sa output. Nasa pricing page ang rate ng bawat model.

Sa flat plan, hindi talaga binibilang ang token: walang token meter ang isang session ng DeepSeek V4.1 Flash, at ang bilis ang praktikal na limit, mga 100 token bawat segundo. Kada minuto ng audio sinisingil ang mga speech-to-text model, hindi kada token.

Mga karaniwang pagkakamali

  • Pagtantiya ng gastos mula sa bilang ng salita para sa text na hindi Ingles. Sukatin gamit ang usage sa totoong sample.
  • Pagkalimot na gumagastos din ng output token sa pag-iisip ang mga reasoning model. Tingnan ang reasoning tokens.

Mga tanong

Ilang salita ang 1,000 token?

Para sa Ingles na prosa, mga 775 salita ayon sa sariling sukat ng BroadRouter sa limang tokenizer (umabot sa mga 1,290 token ang 1,000 salitang Ingles). Ayon sa rule of thumb ng OpenAI, mga tatlong-kapat ng salita ang isang token, kaya 750. Iba ang ratio sa ibang wika, sa code at sa tokenizer ng ibang model, kaya bilangin gamit ang sariling tokenizer ng model kapag mahalaga ito.

Binibilang bang token ang mga larawan at audio?

Ginagawang input token ang mga larawang ipinapadala sa vision model, at kadalasang mas maraming token ang nagagamit ng mas malaking larawan. Ang mga speech-to-text API naman ay madalas sinisingil kada minuto ng audio sa halip na kada token.

Bakit iba ang bilang ng token ng parehong text sa dalawang model?

May sariling tokenizer at vocabulary ang bawat model family, kaya puwedeng mahati sa ibang bilang ng piraso ang parehong pangungusap.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity