Tokenizer menentukan berapa banyak token yang terhasil daripada teks anda, dan oleh itu berapa banyak tetingkap konteks dan bil yang digunakannya.
Cara ia berfungsi
Tokenizer mempunyai dua bahagian: perbendaharaan kata tetap yang memetakan cebisan teks kepada ID integer, dan peraturan untuk memecahkan teks kepada cebisan tersebut. Dokumentasi Hugging Face menerangkan algoritma biasa sebagai kaedah subkata: perkataan yang kerap kekal utuh dan perkataan yang jarang dipecahkan kepada cebisan lebih kecil yang dikenali, jadi “annoyingly” boleh menjadi “annoying” + “ly”. Kebanyakan LLM semasa menggunakan byte pair encoding atau variannya.
Pengekodan berjalan dalam tiga langkah:
- Pra-tokenisasi. Pecahkan pada ruang, tanda baca dan digit.
- Petakan cebisan kepada ID. Gunakan gabungan (merge) yang dipelajari dan cari setiap cebisan dalam perbendaharaan kata.
- Tambah token khas. Templat chat membalut mesej dengan penanda peranan, yang juga dikira.
Penyahkodan membalikkan langkah 2. Bagi model open-weight, semua ini terdapat dalam fail tokenizer.json dalam repo model.
Mengapa ia penting
Tokenizer yang berbeza memberikan kiraan berbeza bagi teks yang sama. Kami mengekod teks set data dengan tokenizer yang dipin bagi setiap model (bahasa Inggeris: prosa Wikipedia dan Project Gutenberg; bahasa Arab: 2,009 ayat FLORES-200 serta tiga perenggan pembuka Wikipedia; diukur 2026-11-15; token setiap 100 perkataan = token / perkataan x 100):
| Teks | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
|---|---|---|---|---|---|
| Prosa Inggeris, 1,183 perkataan | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| Arab MSA, 39,037 perkataan | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |
Bahasa Inggeris hampir sama di semua model. Bahasa Arab tidak: GLM 5.3 memerlukan 95,230 / 71,424 = 1.33 kali ganda token yang diperlukan Qwen3.8 27B untuk teks yang sama. Pada harga setiap token, jurang itu ialah jurang kos, dan ia juga mengubah berapa banyak teks Arab yang muat dalam tetingkap konteks. Lajur Gemma menggunakan tokenizer asas Gemma 4 daripada Google; binaan BroadNet berasaskan model itu, dan kami menganggap ia mengekalkan tokenizer yang sama. Angka penuh setiap model, dengan muat turun CSV dan JSON, terdapat dalam set data kecekapan tokenizer.
Di BroadNet Inference
BroadNet mengebil chat bayar ikut guna mengikut token input dan output dan melaporkan kiraan dalam objek usage setiap respons, jadi angka yang dipulangkan API ialah angka yang muktamad. Untuk menganggar sebelum menghantar, tampal teks ke dalam pengira token atau pengira token Arab, yang memuatkan fail tokenizer dipin yang sama. Ukuran penuh terdapat dalam token setiap perkataan dalam bahasa Arab dan Inggeris.
Kesilapan biasa
- Mengira dengan tokenizer satu model tetapi dibilkan pada model lain. Gunakan tokenizer model yang anda panggil.
- Terlupa templat chat. Penanda peranan dan prompt sistem menambah token yang terlepas daripada kiraan teks biasa.