---
title: "Apakah itu tokenizer? Cara LLM memecahkan teks kepada token"
description: "Tokenizer menukar teks kepada ID token yang dibaca LLM. Cara ia berfungsi dan mengapa teks sama memberi kiraan token berbeza bagi setiap model, dengan data Arab."
url: https://broadrouter.com/ms/glossary/tokenizer/
lang: ms
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/tokenizer/) (dikemas kini 2026-11-16).

# Tokenizer (pengtoken)

Dikemas kini 2026-11-16

Tokenizer ialah komponen yang menukar teks kepada jujukan ID token integer yang dibaca oleh model bahasa, dan menukar ID yang dijana kembali kepada teks. Setiap model mempunyai tokenizer sendiri, jadi teks yang sama boleh menghasilkan bilangan token yang berbeza pada model yang berbeza.

Juga dikenali sebagai: pengtoken, tokenisasi, LLM tokenizer, tokenizer.json, subword tokenizer, text tokenizer

Tokenizer menentukan berapa banyak [token](https://broadrouter.com/ms/glossary/token/) yang terhasil daripada teks anda, dan oleh itu berapa banyak tetingkap konteks dan bil yang digunakannya.

## Cara ia berfungsi

Tokenizer mempunyai dua bahagian: perbendaharaan kata tetap yang memetakan cebisan teks kepada ID integer, dan peraturan untuk memecahkan teks kepada cebisan tersebut. Dokumentasi Hugging Face menerangkan algoritma biasa sebagai kaedah subkata: perkataan yang kerap kekal utuh dan perkataan yang jarang dipecahkan kepada cebisan lebih kecil yang dikenali, jadi “annoyingly” boleh menjadi “annoying” + “ly”. Kebanyakan LLM semasa menggunakan [byte pair encoding](https://broadrouter.com/ms/glossary/bpe/) atau variannya.

Pengekodan berjalan dalam tiga langkah:

1.  **Pra-tokenisasi.** Pecahkan pada ruang, tanda baca dan digit.
2.  **Petakan cebisan kepada ID.** Gunakan gabungan (merge) yang dipelajari dan cari setiap cebisan dalam perbendaharaan kata.
3.  **Tambah token khas.** Templat chat membalut mesej dengan penanda peranan, yang juga dikira.

Penyahkodan membalikkan langkah 2. Bagi model open-weight, semua ini terdapat dalam fail `tokenizer.json` dalam repo model.

## Mengapa ia penting

Tokenizer yang berbeza memberikan kiraan berbeza bagi teks yang sama. Kami mengekod teks set data dengan tokenizer yang dipin bagi setiap model (bahasa Inggeris: prosa Wikipedia dan Project Gutenberg; bahasa Arab: 2,009 ayat FLORES-200 serta tiga perenggan pembuka Wikipedia; diukur 2026-11-15; token setiap 100 perkataan = token / perkataan x 100):

| Teks | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
| --- | --- | --- | --- | --- | --- |
| Prosa Inggeris, 1,183 perkataan | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| Arab MSA, 39,037 perkataan | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |

Bahasa Inggeris hampir sama di semua model. Bahasa Arab tidak: GLM 5.3 memerlukan 95,230 / 71,424 = 1.33 kali ganda token yang diperlukan Qwen3.8 27B untuk teks yang sama. Pada harga setiap token, jurang itu ialah jurang kos, dan ia juga mengubah berapa banyak teks Arab yang muat dalam [tetingkap konteks](https://broadrouter.com/ms/glossary/context-window/). Lajur Gemma menggunakan tokenizer asas Gemma 4 daripada Google; binaan BroadNet berasaskan model itu, dan kami menganggap ia mengekalkan tokenizer yang sama. Angka penuh setiap model, dengan muat turun CSV dan JSON, terdapat dalam [set data kecekapan tokenizer](https://broadrouter.com/data/tokenizer-efficiency/).

## Di BroadNet Inference

BroadNet mengebil chat bayar ikut guna mengikut [token input dan output](https://broadrouter.com/ms/glossary/input-and-output-tokens/) dan melaporkan kiraan dalam objek `usage` setiap respons, jadi angka yang dipulangkan API ialah angka yang muktamad. Untuk menganggar sebelum menghantar, tampal teks ke dalam [pengira token](https://broadrouter.com/tools/token-counter/) atau [pengira token Arab](https://broadrouter.com/tools/arabic-token-counter/), yang memuatkan fail tokenizer dipin yang sama. Ukuran penuh terdapat dalam [token setiap perkataan dalam bahasa Arab dan Inggeris](https://broadrouter.com/ms/blog/tokens-per-word-arabic-english/).

## Kesilapan biasa

-   Mengira dengan tokenizer satu model tetapi dibilkan pada model lain. Gunakan tokenizer model yang anda panggil.
-   Terlupa templat chat. Penanda peranan dan prompt sistem menambah token yang terlepas daripada kiraan teks biasa.

## Soalan lazim

### Adakah semua LLM menggunakan tokenizer yang sama?

Tidak. Setiap keluarga model melatih tokenizer sendiri, dengan perbendaharaan kata sendiri. Dalam set data tokenizer kami, 39,037 perkataan Arab yang sama menjadi 71,424 token pada Qwen3.8 27B dan 95,230 pada GLM 5.3.

### Di manakah saya boleh mencari tokenizer sesuatu model?

Bagi model open-weight, ia ialah fail tokenizer.json dalam repo Hugging Face model itu. Muatkannya dengan pustaka tokenizers Hugging Face untuk mengira token dengan tepat.

### Adakah tokenizer sama dengan tokenisasi?

Tokenisasi ialah proses memecahkan teks kepada token. Tokenizer ialah fail dan kod yang melakukannya untuk satu model tertentu.

## Lihat juga

-   [Token](https://broadrouter.com/ms/glossary/token/) (istilah)
-   [Byte pair encoding (BPE)](https://broadrouter.com/ms/glossary/bpe/) (istilah)
-   [Saiz perbendaharaan kata (vocabulary size)](https://broadrouter.com/ms/glossary/vocabulary-size/) (istilah)
-   [Token input dan output (input and output tokens)](https://broadrouter.com/ms/glossary/input-and-output-tokens/) (istilah)
-   [Tetingkap konteks (context window)](https://broadrouter.com/ms/glossary/context-window/) (istilah)
-   [Templat chat (chat template)](https://broadrouter.com/ms/glossary/chat-template/) (istilah)
-   [Penormalan Unicode (Unicode normalization)](https://broadrouter.com/ms/glossary/unicode-normalization/) (istilah)
-   [Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/) (panduan)
-   [Token setiap perkataan Arab vs Inggeris: mengapa Arab lebih mahal](https://broadrouter.com/ms/blog/tokens-per-word-arabic-english/) (artikel)
-   [Cara mengira token sebelum menghantar permintaan LLM](https://broadrouter.com/ms/blog/count-tokens-before-sending/) (artikel)
-   [Kejuruteraan prompt bahasa Arab: laras, RTL, angka dan teks bercampur](https://broadrouter.com/ms/blog/arabic-prompt-engineering/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-tokenizer&utm_content=page-cta) ·

**Sumber**

-   [Hugging Face Transformers, algoritma tokenisasi (disemak 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Repo model Hugging Face, Qwen/Qwen3.8-27B (disemak 2026-11-16)](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [Repo model Hugging Face, deepseek-ai/DeepSeek-V4.1-Flash (disemak 2026-11-16)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [Repo model Hugging Face, google/gemma-4-26B-A4B-it (disemak 2026-11-16)](https://huggingface.co/google/gemma-4-26B-A4B-it)
