Model tidak melihat huruf atau perkataan. Ia melihat jujukan integer, setiap satunya mewakili cebisan teks daripada perbendaharaan kata yang tetap. Cebisan itulah token.
Cara ia berfungsi
Tokenizer memecahkan teks sebelum model membacanya. Kebanyakan model moden menggunakan kaedah subkata seperti byte pair encoding (BPE). Perkataan biasa kekal utuh; perkataan jarang dipecahkan kepada bahagian. Contoh Hugging Face: annoyingly mungkin menjadi annoying dan ly.
BPE peringkat bait bermula daripada 256 nilai bait, jadi sebarang input boleh dikodkan, termasuk emoji dan setiap sistem tulisan.
Untuk bahasa Inggeris, anggaran kasar OpenAI ialah kira-kira 4 aksara atau 0.75 perkataan setiap token, jadi 100 token lebih kurang 75 perkataan. Ukuran kami sendiri pada prosa bahasa Inggeris dengan lima tokenizer semasa memberikan kira-kira 129 token setiap 100 perkataan, atau 1,290 token setiap 1,000 perkataan, hampir dengan anggaran kasar itu. Kedua-dua nisbah hanyalah anggaran:
- bahasa lain, termasuk bahasa Arab, selalunya dipecahkan kepada lebih banyak token setiap perkataan pada tokenizer yang dilatih kebanyakannya dengan bahasa Inggeris;
- kod, nombor dan ruang kosong ditokenkan secara berbeza daripada prosa;
- setiap keluarga model mempunyai perbendaharaan kata sendiri.
Untuk membuat anggaran sebelum menghantar, tampal teks ke dalam pengira token. API melaporkan bilangan sebenar dalam blok usage setiap respons:
"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }
Mengapa ia penting
Token ialah unit di sebalik hampir setiap angka pada API LLM:
- Harga. API setiap token mengebil bagi setiap 1M token input dan output, selalunya pada kadar berbeza.
- Had. Tetingkap konteks dan
max_tokensdiukur dalam token, dan banyak had kadar mengira token seminit. - Kelajuan. Kelajuan penjanaan dinyatakan dalam token sesaat.
Teks yang sama boleh menjadi bilangan token yang berbeza pada model berlainan, terutamanya dalam bahasa Arab. Set data kecekapan tokenizer mengukur token setiap 100 perkataan bagi setiap model dalam bahasa Inggeris, bahasa Arab dan kod.
Di BroadNet Inference
Model chat berharga setiap 1M token. Untuk DeepSeek V4.1 Flash, input baharu berharga $0.175, input cache $0.0055 dan output $0.52. BroadNet Gemma 4 VL 26B berharga $0.10 untuk input dan $0.22 untuk output. Kadar setiap model ada di halaman harga.
Pada pelan harga tetap, token langsung tidak dimeter: sesi DeepSeek V4.1 Flash tiada meter token, dan had praktikalnya ialah kelajuan, kira-kira 100 token sesaat. Model speech-to-text dibilkan setiap minit audio, bukan setiap token.
Kesilapan biasa
- Menganggar kos daripada bilangan perkataan untuk teks bukan bahasa Inggeris. Ukur dengan
usagepada sampel sebenar. - Terlupa bahawa model penaakulan juga menggunakan token output untuk berfikir. Lihat token penaakulan.