Ang tokenizer ang nagpapasya kung ilang token ang kalalabasan ng text mo, at kung gaano kalaki ng context window at ng bill ang magagamit nito.
Paano ito gumagana
Dalawang bahagi ang tokenizer: isang takdang vocabulary na nagma-map ng mga piraso ng text sa integer ID, at mga patakaran sa paghahati ng text sa mga pirasong iyon. Inilalarawan ng dokumentasyon ng Hugging Face ang mga karaniwang algorithm bilang subword method: buo ang mga madalas na salita at hinahati ang mga bihirang salita sa mas maliliit na kilalang piraso, kaya puwedeng maging “annoying” + “ly” ang “annoyingly”. Gumagamit ang karamihan ng kasalukuyang LLM ng byte pair encoding o isang variant nito.
Tatlong hakbang ang encoding:
- Pre-tokenize. Hatiin sa mga espasyo, bantas at digit.
- I-map ang mga piraso sa ID. Ilapat ang mga natutunang merge at hanapin ang bawat piraso sa vocabulary.
- Magdagdag ng special token. Binabalot ng chat template ang mga message sa mga role marker, na binibilang din.
Binabaliktad ng decoding ang hakbang 2. Para sa mga open-weight model, nasa tokenizer.json file sa model repo ang lahat ng ito.
Bakit ito mahalaga
Magkakaibang bilang ang ibinibigay ng magkakaibang tokenizer para sa iisang text. Ine-encode namin ang mga text ng dataset gamit ang naka-pin na tokenizer ng bawat model (English: prosa mula sa Wikipedia at Project Gutenberg; Arabic: 2,009 na pangungusap mula sa FLORES-200 at tatlong lead ng Wikipedia; sinukat noong 2026-11-15; token kada 100 salita = token / salita x 100):
| Text | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
|---|---|---|---|---|---|
| English na prosa, 1,183 salita | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| Arabic MSA, 39,037 salita | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |
Malapit-lapit ang English sa lahat. Hindi ganoon ang Arabic: 95,230 / 71,424 = 1.33 beses ng token na kailangan ng Qwen3.8 27B ang kailangan ng GLM 5.3 para sa parehong text. Sa presyong per-token, agwat sa gastos ang agwat na iyon, at binabago rin nito kung gaano karaming Arabic ang kasya sa context window. Gumagamit ang Gemma column ng base na Gemma 4 tokenizer ng Google; batay sa model na iyon ang build ng BroadNet, at inaakala naming pinanatili nito ang tokenizer. Nasa tokenizer efficiency dataset ang buong bilang kada model, may CSV at JSON na download.
Sa BroadNet Inference
Sinisingil ng BroadNet ang pay-as-you-go na chat ayon sa input at output token at iniuulat ang mga bilang sa usage object ng bawat response, kaya ang numerong ibinabalik ng API ang opisyal. Para tumantiya bago magpadala, i-paste ang text sa token counter o sa Arabic token counter, na naglo-load ng parehong naka-pin na tokenizer file. Nasa token kada salita sa Arabic at English ang buong sukat.
Mga karaniwang pagkakamali
- Pagbibilang gamit ang tokenizer ng isang model pero sinisingil sa iba. Gamitin ang tokenizer ng model na tinatawag mo.
- Pagkalimot sa chat template. Nagdadagdag ng token ang mga role marker at system prompt na hindi nabibilang ng plain-text na bilang.