---
title: "Ano ang token sa LLM? Simpleng paliwanag | BroadRouter"
description: "Ang token ang yunit ng text na binabasa at isinusulat ng LLM, at ang yunit ng singil at limit ng API. Paano hinahati ang text at bakit ito ang batayan ng gastos."
url: https://broadrouter.com/fil/glossary/token/
lang: fil
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/glossary/token/) (na-update noong 2026-11-14).

# Token

Na-update 2026-11-14

Ang token ay ang yunit ng text na binabasa at isinusulat ng isang language model: isang salita, bahagi ng salita, bantas o byte sequence na ginawa ng tokenizer ng model. Sa token binibilang, nililimitahan at kadalasang sinisingil ng mga LLM API ang paggamit.

Tinatawag ding: token sa LLM, mga token, tokenization, LLM token, tokens

Hindi letra o salita ang nakikita ng mga model. Sunod-sunod na integer ang nakikita nila, at ang bawat isa ay kumakatawan sa isang piraso ng text mula sa isang fixed na vocabulary. Ang mga pirasong iyon ang mga token.

## Paano ito gumagana

Hinahati ng [tokenizer](https://broadrouter.com/fil/glossary/tokenizer/) ang text bago ito basahin ng model. Karamihan sa mga modernong model ay gumagamit ng subword na paraan gaya ng [byte pair encoding (BPE)](https://broadrouter.com/fil/glossary/bpe/). Buo ang mga karaniwang salita; nahahati naman sa mga bahagi ang mga bihirang salita. Halimbawa ng Hugging Face: puwedeng maging `annoying` at `ly` ang `annoyingly`.

Nagsisimula ang byte-level BPE sa 256 na byte value, kaya kahit anong input ay puwedeng i-encode, kasama ang emoji at bawat sistema ng pagsulat.

Para sa Ingles, ang rule of thumb ng OpenAI ay mga 4 na character o 0.75 salita kada token, kaya mga 75 salita ang 100 token. Sa sarili naming sukat ng Ingles na prosa sa limang kasalukuyang tokenizer, umabot ito sa mga 129 token kada 100 salita, o 1,290 token kada 1,000 salita, malapit sa rule of thumb. Tantiya lang ang alinmang ratio:

-   madalas mas maraming token kada salita ang ibang wika, kasama ang Arabic, sa mga tokenizer na karamihang tinrain sa Ingles;
-   iba ang pag-tokenize sa code, mga numero at whitespace kumpara sa prosa;
-   may sariling vocabulary ang bawat model family.

Para tantiyahin bago magpadala, i-paste ang text sa [token counter](https://broadrouter.com/tools/token-counter/). Iniuulat ng API ang totoong bilang sa `usage` block ng bawat response:

```json
"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }
```

## Bakit ito mahalaga

Ang token ang yunit sa likod ng halos lahat ng numero sa isang LLM API:

-   **Presyo.** Sinisingil ng mga per-token na API ang kada 1M na [input at output token](https://broadrouter.com/fil/glossary/input-and-output-tokens/), madalas sa magkaibang rate.
-   **Mga limit.** Sa token sinusukat ang [context window](https://broadrouter.com/fil/glossary/context-window/) at ang `max_tokens`, at maraming rate limit ang nagbibilang ng token kada minuto.
-   **Bilis.** Sa [tokens per second](https://broadrouter.com/fil/glossary/tokens-per-second/) sinusukat ang bilis ng pagbuo ng sagot.

Puwedeng iba ang bilang ng token ng parehong text sa magkaibang model, lalo na sa Arabic. Sinusukat ng [tokenizer efficiency dataset](https://broadrouter.com/data/tokenizer-efficiency/) ang token kada 100 salita para sa bawat model sa Ingles, Arabic at code.

## Sa BroadNet Inference

Kada 1M token ang presyo ng mga chat model. Sa [DeepSeek V4.1 Flash](https://broadrouter.com/fil/models/deepseek-v4.1-flash/), $0.175 ang bagong input, $0.0055 ang [cached input](https://broadrouter.com/fil/glossary/cached-input-tokens/) at $0.52 ang output. Ang [BroadNet Gemma 4 VL 26B](https://broadrouter.com/fil/models/gemma-4-vl-26b/) ay $0.10 sa input at $0.22 sa output. Nasa [pricing page](https://broadrouter.com/fil/pricing/) ang rate ng bawat model.

Sa flat plan, hindi talaga binibilang ang token: walang token meter ang isang session ng DeepSeek V4.1 Flash, at ang bilis ang praktikal na limit, mga 100 token bawat segundo. Kada minuto ng audio sinisingil ang mga speech-to-text model, hindi kada token.

## Mga karaniwang pagkakamali

-   Pagtantiya ng gastos mula sa bilang ng salita para sa text na hindi Ingles. Sukatin gamit ang `usage` sa totoong sample.
-   Pagkalimot na gumagastos din ng output token sa pag-iisip ang mga reasoning model. Tingnan ang [reasoning tokens](https://broadrouter.com/fil/glossary/reasoning-tokens/).

## Mga tanong

### Ilang salita ang 1,000 token?

Para sa Ingles na prosa, mga 775 salita ayon sa sariling sukat ng BroadRouter sa limang tokenizer (umabot sa mga 1,290 token ang 1,000 salitang Ingles). Ayon sa rule of thumb ng OpenAI, mga tatlong-kapat ng salita ang isang token, kaya 750. Iba ang ratio sa ibang wika, sa code at sa tokenizer ng ibang model, kaya bilangin gamit ang sariling tokenizer ng model kapag mahalaga ito.

### Binibilang bang token ang mga larawan at audio?

Ginagawang input token ang mga larawang ipinapadala sa vision model, at kadalasang mas maraming token ang nagagamit ng mas malaking larawan. Ang mga speech-to-text API naman ay madalas sinisingil kada minuto ng audio sa halip na kada token.

### Bakit iba ang bilang ng token ng parehong text sa dalawang model?

May sariling tokenizer at vocabulary ang bawat model family, kaya puwedeng mahati sa ibang bilang ng piraso ang parehong pangungusap.

## Tingnan din

-   [Input at output token (input and output tokens)](https://broadrouter.com/fil/glossary/input-and-output-tokens/) (termino)
-   [Cached input token (cached input tokens)](https://broadrouter.com/fil/glossary/cached-input-tokens/) (termino)
-   [Context window](https://broadrouter.com/fil/glossary/context-window/) (termino)
-   [Tokens per second (TPS)](https://broadrouter.com/fil/glossary/tokens-per-second/) (termino)
-   [Tokenizer](https://broadrouter.com/fil/glossary/tokenizer/) (termino)
-   [Byte pair encoding (BPE)](https://broadrouter.com/fil/glossary/bpe/) (termino)
-   [Vocabulary size (vocab size)](https://broadrouter.com/fil/glossary/vocabulary-size/) (termino)
-   [Logprobs](https://broadrouter.com/fil/glossary/logprobs/) (termino)
-   [Paano mag-stream ng chat completions at ayusin ang naputol na stream](https://broadrouter.com/fil/guides/streaming-chat-completions/) (gabay)
-   [Cached input token: paano nito binabawasan ang LLM API bill mo](https://broadrouter.com/fil/blog/cached-input-tokens-explained/) (artikulo)
-   [Flat-rate vs pay-per-token na LLM API: ang break-even math](https://broadrouter.com/fil/blog/flat-rate-vs-pay-per-token-llm-api/) (artikulo)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-token&utm_content=page-cta) ·

**Mga source**

-   [Hugging Face Transformers, mga tokenization algorithm (BPE, Unigram, WordPiece)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [OpenAI, key concepts (rule of thumb sa token)](https://developers.openai.com/api/docs/concepts)
-   [Machine-readable na presyo ng BroadNet Inference (pricing.json) (Ingles)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-token&utm_content=sources)
