BroadRouter
Magsimula

Tokenizer

Na-update

Ang tokenizer ay ang bahaging ginagawang sunod ng integer token ID na binabasa ng language model ang text, at ibinabalik sa text ang mga nabuong ID. May sariling tokenizer ang bawat model, kaya puwedeng magkaiba ang bilang ng token ng iisang text sa magkakaibang model.

Tinatawag ding: tokenization, tagahati ng token, LLM tokenizer, tokenizer.json, subword tokenizer, text tokenizer

Ang tokenizer ang nagpapasya kung ilang token ang kalalabasan ng text mo, at kung gaano kalaki ng context window at ng bill ang magagamit nito.

Paano ito gumagana

Dalawang bahagi ang tokenizer: isang takdang vocabulary na nagma-map ng mga piraso ng text sa integer ID, at mga patakaran sa paghahati ng text sa mga pirasong iyon. Inilalarawan ng dokumentasyon ng Hugging Face ang mga karaniwang algorithm bilang subword method: buo ang mga madalas na salita at hinahati ang mga bihirang salita sa mas maliliit na kilalang piraso, kaya puwedeng maging “annoying” + “ly” ang “annoyingly”. Gumagamit ang karamihan ng kasalukuyang LLM ng byte pair encoding o isang variant nito.

Tatlong hakbang ang encoding:

  1. Pre-tokenize. Hatiin sa mga espasyo, bantas at digit.
  2. I-map ang mga piraso sa ID. Ilapat ang mga natutunang merge at hanapin ang bawat piraso sa vocabulary.
  3. Magdagdag ng special token. Binabalot ng chat template ang mga message sa mga role marker, na binibilang din.

Binabaliktad ng decoding ang hakbang 2. Para sa mga open-weight model, nasa tokenizer.json file sa model repo ang lahat ng ito.

Bakit ito mahalaga

Magkakaibang bilang ang ibinibigay ng magkakaibang tokenizer para sa iisang text. Ine-encode namin ang mga text ng dataset gamit ang naka-pin na tokenizer ng bawat model (English: prosa mula sa Wikipedia at Project Gutenberg; Arabic: 2,009 na pangungusap mula sa FLORES-200 at tatlong lead ng Wikipedia; sinukat noong 2026-11-15; token kada 100 salita = token / salita x 100):

Text DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
English na prosa, 1,183 salita 1,507 → 127.4 1,526 → 129.0 1,561 → 132.0 1,537 → 129.9 1,501 → 126.9
Arabic MSA, 39,037 salita 86,690 → 222.1 95,230 → 243.9 71,424 → 183.0 79,120 → 202.7 73,593 → 188.5

Malapit-lapit ang English sa lahat. Hindi ganoon ang Arabic: 95,230 / 71,424 = 1.33 beses ng token na kailangan ng Qwen3.8 27B ang kailangan ng GLM 5.3 para sa parehong text. Sa presyong per-token, agwat sa gastos ang agwat na iyon, at binabago rin nito kung gaano karaming Arabic ang kasya sa context window. Gumagamit ang Gemma column ng base na Gemma 4 tokenizer ng Google; batay sa model na iyon ang build ng BroadNet, at inaakala naming pinanatili nito ang tokenizer. Nasa tokenizer efficiency dataset ang buong bilang kada model, may CSV at JSON na download.

Sa BroadNet Inference

Sinisingil ng BroadNet ang pay-as-you-go na chat ayon sa input at output token at iniuulat ang mga bilang sa usage object ng bawat response, kaya ang numerong ibinabalik ng API ang opisyal. Para tumantiya bago magpadala, i-paste ang text sa token counter o sa Arabic token counter, na naglo-load ng parehong naka-pin na tokenizer file. Nasa token kada salita sa Arabic at English ang buong sukat.

Mga karaniwang pagkakamali

  • Pagbibilang gamit ang tokenizer ng isang model pero sinisingil sa iba. Gamitin ang tokenizer ng model na tinatawag mo.
  • Pagkalimot sa chat template. Nagdadagdag ng token ang mga role marker at system prompt na hindi nabibilang ng plain-text na bilang.

Mga tanong

Pare-pareho ba ang tokenizer ng lahat ng LLM?

Hindi. Nagsasanay ng sariling tokenizer ang bawat model family, na may sariling vocabulary. Sa aming tokenizer dataset, ang parehong 39,037 na salitang Arabic ay 71,424 token sa Qwen3.8 27B at 95,230 sa GLM 5.3.

Saan ko makikita ang tokenizer ng isang model?

Para sa mga open-weight model, ito ang tokenizer.json file sa Hugging Face repo ng model. I-load ito gamit ang tokenizers library ng Hugging Face para eksaktong mabilang ang token.

Pareho ba ang tokenizer at tokenization?

Ang tokenization ay ang proseso ng paghahati ng text sa mga token. Ang tokenizer ay ang file at code na gumagawa nito para sa isang partikular na model.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity