---
title: "Ano ang tokenizer? Paano hinahati ng LLM ang text sa token"
description: "Ginagawang token ID na binabasa ng LLM ang text ng tokenizer. Paano ito gumagana at bakit iba-iba ang bilang ng token kada model, na may nasukat na data sa Arabic."
url: https://broadrouter.com/fil/glossary/tokenizer/
lang: fil
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/glossary/tokenizer/) (na-update noong 2026-11-16).

# Tokenizer

Na-update 2026-11-16

Ang tokenizer ay ang bahaging ginagawang sunod ng integer token ID na binabasa ng language model ang text, at ibinabalik sa text ang mga nabuong ID. May sariling tokenizer ang bawat model, kaya puwedeng magkaiba ang bilang ng token ng iisang text sa magkakaibang model.

Tinatawag ding: tokenization, tagahati ng token, LLM tokenizer, tokenizer.json, subword tokenizer, text tokenizer

Ang tokenizer ang nagpapasya kung ilang [token](https://broadrouter.com/fil/glossary/token/) ang kalalabasan ng text mo, at kung gaano kalaki ng context window at ng bill ang magagamit nito.

## Paano ito gumagana

Dalawang bahagi ang tokenizer: isang takdang vocabulary na nagma-map ng mga piraso ng text sa integer ID, at mga patakaran sa paghahati ng text sa mga pirasong iyon. Inilalarawan ng dokumentasyon ng Hugging Face ang mga karaniwang algorithm bilang subword method: buo ang mga madalas na salita at hinahati ang mga bihirang salita sa mas maliliit na kilalang piraso, kaya puwedeng maging “annoying” + “ly” ang “annoyingly”. Gumagamit ang karamihan ng kasalukuyang LLM ng [byte pair encoding](https://broadrouter.com/fil/glossary/bpe/) o isang variant nito.

Tatlong hakbang ang encoding:

1.  **Pre-tokenize.** Hatiin sa mga espasyo, bantas at digit.
2.  **I-map ang mga piraso sa ID.** Ilapat ang mga natutunang merge at hanapin ang bawat piraso sa vocabulary.
3.  **Magdagdag ng special token.** Binabalot ng chat template ang mga message sa mga role marker, na binibilang din.

Binabaliktad ng decoding ang hakbang 2. Para sa mga open-weight model, nasa `tokenizer.json` file sa model repo ang lahat ng ito.

## Bakit ito mahalaga

Magkakaibang bilang ang ibinibigay ng magkakaibang tokenizer para sa iisang text. Ine-encode namin ang mga text ng dataset gamit ang naka-pin na tokenizer ng bawat model (English: prosa mula sa Wikipedia at Project Gutenberg; Arabic: 2,009 na pangungusap mula sa FLORES-200 at tatlong lead ng Wikipedia; sinukat noong 2026-11-15; token kada 100 salita = token / salita x 100):

| Text | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
| --- | --- | --- | --- | --- | --- |
| English na prosa, 1,183 salita | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| Arabic MSA, 39,037 salita | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |

Malapit-lapit ang English sa lahat. Hindi ganoon ang Arabic: 95,230 / 71,424 = 1.33 beses ng token na kailangan ng Qwen3.8 27B ang kailangan ng GLM 5.3 para sa parehong text. Sa presyong per-token, agwat sa gastos ang agwat na iyon, at binabago rin nito kung gaano karaming Arabic ang kasya sa [context window](https://broadrouter.com/fil/glossary/context-window/). Gumagamit ang Gemma column ng base na Gemma 4 tokenizer ng Google; batay sa model na iyon ang build ng BroadNet, at inaakala naming pinanatili nito ang tokenizer. Nasa [tokenizer efficiency dataset](https://broadrouter.com/data/tokenizer-efficiency/) ang buong bilang kada model, may CSV at JSON na download.

## Sa BroadNet Inference

Sinisingil ng BroadNet ang pay-as-you-go na chat ayon sa [input at output token](https://broadrouter.com/fil/glossary/input-and-output-tokens/) at iniuulat ang mga bilang sa `usage` object ng bawat response, kaya ang numerong ibinabalik ng API ang opisyal. Para tumantiya bago magpadala, i-paste ang text sa [token counter](https://broadrouter.com/tools/token-counter/) o sa [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/), na naglo-load ng parehong naka-pin na tokenizer file. Nasa [token kada salita sa Arabic at English](https://broadrouter.com/fil/blog/tokens-per-word-arabic-english/) ang buong sukat.

## Mga karaniwang pagkakamali

-   Pagbibilang gamit ang tokenizer ng isang model pero sinisingil sa iba. Gamitin ang tokenizer ng model na tinatawag mo.
-   Pagkalimot sa chat template. Nagdadagdag ng token ang mga role marker at system prompt na hindi nabibilang ng plain-text na bilang.

## Mga tanong

### Pare-pareho ba ang tokenizer ng lahat ng LLM?

Hindi. Nagsasanay ng sariling tokenizer ang bawat model family, na may sariling vocabulary. Sa aming tokenizer dataset, ang parehong 39,037 na salitang Arabic ay 71,424 token sa Qwen3.8 27B at 95,230 sa GLM 5.3.

### Saan ko makikita ang tokenizer ng isang model?

Para sa mga open-weight model, ito ang tokenizer.json file sa Hugging Face repo ng model. I-load ito gamit ang tokenizers library ng Hugging Face para eksaktong mabilang ang token.

### Pareho ba ang tokenizer at tokenization?

Ang tokenization ay ang proseso ng paghahati ng text sa mga token. Ang tokenizer ay ang file at code na gumagawa nito para sa isang partikular na model.

## Tingnan din

-   [Token](https://broadrouter.com/fil/glossary/token/) (termino)
-   [Byte pair encoding (BPE)](https://broadrouter.com/fil/glossary/bpe/) (termino)
-   [Vocabulary size (vocab size)](https://broadrouter.com/fil/glossary/vocabulary-size/) (termino)
-   [Input at output token (input and output tokens)](https://broadrouter.com/fil/glossary/input-and-output-tokens/) (termino)
-   [Context window](https://broadrouter.com/fil/glossary/context-window/) (termino)
-   [Chat template](https://broadrouter.com/fil/glossary/chat-template/) (termino)
-   [Unicode normalization](https://broadrouter.com/fil/glossary/unicode-normalization/) (termino)
-   [Paano gamitin ang OpenAI Python SDK sa BroadNet Inference](https://broadrouter.com/fil/guides/openai-python-sdk/) (gabay)
-   [Token kada salita sa Arabic vs English: bakit mas mahal ang Arabic](https://broadrouter.com/fil/blog/tokens-per-word-arabic-english/) (artikulo)
-   [Paano bilangin ang token bago magpadala ng LLM request](https://broadrouter.com/fil/blog/count-tokens-before-sending/) (artikulo)
-   [Arabic prompt engineering: register, RTL, numeral at halo-halong text](https://broadrouter.com/fil/blog/arabic-prompt-engineering/) (artikulo)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-tokenizer&utm_content=page-cta) ·

**Mga source**

-   [Hugging Face Transformers, mga algorithm ng tokenization (sinuri noong 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Model repo sa Hugging Face, Qwen/Qwen3.8-27B (sinuri noong 2026-11-16)](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [Model repo sa Hugging Face, deepseek-ai/DeepSeek-V4.1-Flash (sinuri noong 2026-11-16)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [Model repo sa Hugging Face, google/gemma-4-26B-A4B-it (sinuri noong 2026-11-16)](https://huggingface.co/google/gemma-4-26B-A4B-it)
