Hindi letra o salita ang nakikita ng mga model. Sunod-sunod na integer ang nakikita nila, at ang bawat isa ay kumakatawan sa isang piraso ng text mula sa isang fixed na vocabulary. Ang mga pirasong iyon ang mga token.
Paano ito gumagana
Hinahati ng tokenizer ang text bago ito basahin ng model. Karamihan sa mga modernong model ay gumagamit ng subword na paraan gaya ng byte pair encoding (BPE). Buo ang mga karaniwang salita; nahahati naman sa mga bahagi ang mga bihirang salita. Halimbawa ng Hugging Face: puwedeng maging annoying at ly ang annoyingly.
Nagsisimula ang byte-level BPE sa 256 na byte value, kaya kahit anong input ay puwedeng i-encode, kasama ang emoji at bawat sistema ng pagsulat.
Para sa Ingles, ang rule of thumb ng OpenAI ay mga 4 na character o 0.75 salita kada token, kaya mga 75 salita ang 100 token. Sa sarili naming sukat ng Ingles na prosa sa limang kasalukuyang tokenizer, umabot ito sa mga 129 token kada 100 salita, o 1,290 token kada 1,000 salita, malapit sa rule of thumb. Tantiya lang ang alinmang ratio:
- madalas mas maraming token kada salita ang ibang wika, kasama ang Arabic, sa mga tokenizer na karamihang tinrain sa Ingles;
- iba ang pag-tokenize sa code, mga numero at whitespace kumpara sa prosa;
- may sariling vocabulary ang bawat model family.
Para tantiyahin bago magpadala, i-paste ang text sa token counter. Iniuulat ng API ang totoong bilang sa usage block ng bawat response:
"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }
Bakit ito mahalaga
Ang token ang yunit sa likod ng halos lahat ng numero sa isang LLM API:
- Presyo. Sinisingil ng mga per-token na API ang kada 1M na input at output token, madalas sa magkaibang rate.
- Mga limit. Sa token sinusukat ang context window at ang
max_tokens, at maraming rate limit ang nagbibilang ng token kada minuto. - Bilis. Sa tokens per second sinusukat ang bilis ng pagbuo ng sagot.
Puwedeng iba ang bilang ng token ng parehong text sa magkaibang model, lalo na sa Arabic. Sinusukat ng tokenizer efficiency dataset ang token kada 100 salita para sa bawat model sa Ingles, Arabic at code.
Sa BroadNet Inference
Kada 1M token ang presyo ng mga chat model. Sa DeepSeek V4.1 Flash, $0.175 ang bagong input, $0.0055 ang cached input at $0.52 ang output. Ang BroadNet Gemma 4 VL 26B ay $0.10 sa input at $0.22 sa output. Nasa pricing page ang rate ng bawat model.
Sa flat plan, hindi talaga binibilang ang token: walang token meter ang isang session ng DeepSeek V4.1 Flash, at ang bilis ang praktikal na limit, mga 100 token bawat segundo. Kada minuto ng audio sinisingil ang mga speech-to-text model, hindi kada token.
Mga karaniwang pagkakamali
- Pagtantiya ng gastos mula sa bilang ng salita para sa text na hindi Ingles. Sukatin gamit ang
usagesa totoong sample. - Pagkalimot na gumagastos din ng output token sa pag-iisip ang mga reasoning model. Tingnan ang reasoning tokens.