BroadRouter
Mulakan

Tokenizer (pengtoken)

Dikemas kini

Tokenizer ialah komponen yang menukar teks kepada jujukan ID token integer yang dibaca oleh model bahasa, dan menukar ID yang dijana kembali kepada teks. Setiap model mempunyai tokenizer sendiri, jadi teks yang sama boleh menghasilkan bilangan token yang berbeza pada model yang berbeza.

Juga dikenali sebagai: pengtoken, tokenisasi, LLM tokenizer, tokenizer.json, subword tokenizer, text tokenizer

Tokenizer menentukan berapa banyak token yang terhasil daripada teks anda, dan oleh itu berapa banyak tetingkap konteks dan bil yang digunakannya.

Cara ia berfungsi

Tokenizer mempunyai dua bahagian: perbendaharaan kata tetap yang memetakan cebisan teks kepada ID integer, dan peraturan untuk memecahkan teks kepada cebisan tersebut. Dokumentasi Hugging Face menerangkan algoritma biasa sebagai kaedah subkata: perkataan yang kerap kekal utuh dan perkataan yang jarang dipecahkan kepada cebisan lebih kecil yang dikenali, jadi “annoyingly” boleh menjadi “annoying” + “ly”. Kebanyakan LLM semasa menggunakan byte pair encoding atau variannya.

Pengekodan berjalan dalam tiga langkah:

  1. Pra-tokenisasi. Pecahkan pada ruang, tanda baca dan digit.
  2. Petakan cebisan kepada ID. Gunakan gabungan (merge) yang dipelajari dan cari setiap cebisan dalam perbendaharaan kata.
  3. Tambah token khas. Templat chat membalut mesej dengan penanda peranan, yang juga dikira.

Penyahkodan membalikkan langkah 2. Bagi model open-weight, semua ini terdapat dalam fail tokenizer.json dalam repo model.

Mengapa ia penting

Tokenizer yang berbeza memberikan kiraan berbeza bagi teks yang sama. Kami mengekod teks set data dengan tokenizer yang dipin bagi setiap model (bahasa Inggeris: prosa Wikipedia dan Project Gutenberg; bahasa Arab: 2,009 ayat FLORES-200 serta tiga perenggan pembuka Wikipedia; diukur 2026-11-15; token setiap 100 perkataan = token / perkataan x 100):

Teks DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
Prosa Inggeris, 1,183 perkataan 1,507 → 127.4 1,526 → 129.0 1,561 → 132.0 1,537 → 129.9 1,501 → 126.9
Arab MSA, 39,037 perkataan 86,690 → 222.1 95,230 → 243.9 71,424 → 183.0 79,120 → 202.7 73,593 → 188.5

Bahasa Inggeris hampir sama di semua model. Bahasa Arab tidak: GLM 5.3 memerlukan 95,230 / 71,424 = 1.33 kali ganda token yang diperlukan Qwen3.8 27B untuk teks yang sama. Pada harga setiap token, jurang itu ialah jurang kos, dan ia juga mengubah berapa banyak teks Arab yang muat dalam tetingkap konteks. Lajur Gemma menggunakan tokenizer asas Gemma 4 daripada Google; binaan BroadNet berasaskan model itu, dan kami menganggap ia mengekalkan tokenizer yang sama. Angka penuh setiap model, dengan muat turun CSV dan JSON, terdapat dalam set data kecekapan tokenizer.

Di BroadNet Inference

BroadNet mengebil chat bayar ikut guna mengikut token input dan output dan melaporkan kiraan dalam objek usage setiap respons, jadi angka yang dipulangkan API ialah angka yang muktamad. Untuk menganggar sebelum menghantar, tampal teks ke dalam pengira token atau pengira token Arab, yang memuatkan fail tokenizer dipin yang sama. Ukuran penuh terdapat dalam token setiap perkataan dalam bahasa Arab dan Inggeris.

Kesilapan biasa

  • Mengira dengan tokenizer satu model tetapi dibilkan pada model lain. Gunakan tokenizer model yang anda panggil.
  • Terlupa templat chat. Penanda peranan dan prompt sistem menambah token yang terlepas daripada kiraan teks biasa.

Soalan lazim

Adakah semua LLM menggunakan tokenizer yang sama?

Tidak. Setiap keluarga model melatih tokenizer sendiri, dengan perbendaharaan kata sendiri. Dalam set data tokenizer kami, 39,037 perkataan Arab yang sama menjadi 71,424 token pada Qwen3.8 27B dan 95,230 pada GLM 5.3.

Di manakah saya boleh mencari tokenizer sesuatu model?

Bagi model open-weight, ia ialah fail tokenizer.json dalam repo Hugging Face model itu. Muatkannya dengan pustaka tokenizers Hugging Face untuk mengira token dengan tepat.

Adakah tokenizer sama dengan tokenisasi?

Tokenisasi ialah proses memecahkan teks kepada token. Tokenizer ialah fail dan kod yang melakukannya untuk satu model tertentu.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity