BroadRouter

Cara mengira token sebelum menghantar permintaan LLM

Oleh pasukan BroadNet Inference · 5 minit bacaan · Diterbitkan · Dikemas kini

Kira token dengan tokenizer model yang anda panggil jika ia awam; jika tidak, kalibrasi nisbah aksara setiap token daripada medan usage permintaan sebenar, mengikut bahasa dan jenis kandungan. Tambah margin 10 hingga 20 peratus, kemudian pastikan token prompt ditambah max_tokens muat dalam tetingkap konteks, dengan ruang untuk token penaakulan pada model yang berfikir.

Anda memerlukan kiraan token sebelum menghantar permintaan atas tiga sebab: untuk kekal dalam tetingkap konteks, untuk memilih max_tokens yang munasabah, dan untuk menganggar kos. Kiraan tepat hanya datang daripada tokenizer model itu sendiri. Anggaran yang baik datang daripada kalibrasi. Artikel ini menunjukkan kedua-duanya, dengan ukuran sebenar.

Mengapakah kiraan token berbeza antara model?

Tokenizer memecahkan teks kepada kepingan daripada perbendaharaan kata yang tetap. Setiap keluarga model melatih tokenizer sendiri. Perbendaharaan kata yang lebih besar, atau yang dilatih dengan lebih banyak teks sesuatu bahasa, menghasilkan lebih sedikit token untuk bahasa itu. Jadi soalan “berapa token prompt ini” mempunyai jawapan berbeza bagi setiap model.

Kami mengukur mesej khidmat pelanggan pendek yang sama, diterjemah ke dalam empat bahasa, serta satu fungsi Python kecil dan satu objek JSON invois. Kiraan OpenAI datang daripada tiktoken (cl100k_base, era GPT-4, dan o200k_base, era GPT-4o). Kiraan model terbuka datang daripada fail tokenizer yang diterbitkan oleh setiap keluarga di Hugging Face, dikira tanpa templat chat, pada 14 November 2026.

Teks (makna sama) Aksara cl100k_base o200k_base DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4
Inggeris, 31 perkataan 173 37 37 37 38 39 39
Sepanyol 160 47 40 50 45 43 42
Arab 142 102 46 55 58 48 49
Cina 54 51 37 34 35 36 38
Fungsi Python 94 33 33 35 33 35 38
JSON invois 140 59 60 63 60 72 72

Satu sampel setiap baris, jadi anggap angka ini sebagai ilustrasi, bukan penanda aras. Namun tiga pengajaran tetap benar. Generasi tokenizer penting: teks Arab berkurang lebih separuh daripada cl100k_base kepada o200k_base. Model terbuka juga berbeza antara satu sama lain: teks Arab yang sama berjulat 48 hingga 58 token, dan JSON 60 hingga 72. Dan kandungan berstruktur padat dengan token di mana-mana: JSON berjalan pada kira-kira 2 aksara setiap token pada setiap tokenizer.

Anda boleh mengulanginya pada teks anda sendiri dengan pengira token percuma, atau pengira bagi setiap keluarga untuk DeepSeek, Qwen dan GPT. Untuk melihat penjimatan daripada suntingan prompt, bandingkan kedua-dua versi dalam prompt token diff. Sebab bahasa Arab khususnya memerlukan lebih banyak token, diukur pada teks yang lebih panjang, dibincangkan dalam token setiap perkataan dalam bahasa Arab vs Inggeris.

Bagaimanakah cara mengira token dengan tepat?

Jika tokenizer model itu awam, muatkannya dan kira secara setempat. Untuk model OpenAI:

import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))

Untuk keluarga open-weight, tokenizer biasanya disertakan bersama model di Hugging Face dan dimuatkan dengan AutoTokenizer.from_pretrained(...). Dua kaveat: templat chat menambah token untuk peranan dan pemisah, dan versi yang digunakan oleh penyedia API mungkin berbeza daripada fail awam. Rujukan API BroadNet tidak mendokumentasikan endpoint pengiraan token atau tokenizer bagi setiap model, jadi tokenizer awam memberi anggaran yang hampir dan angka tepatnya ialah usage.prompt_tokens selepas panggilan.

Bagaimanakah cara menganggar token apabila tokenizer tidak awam?

Buat kalibrasi sekali bagi setiap model, kemudian anggarkan secara setempat:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def prompt_tokens(model, text):
    r = client.chat.completions.create(
        model=model, max_tokens=1000,  # room for reasoning on thinking models
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

def measure(model, samples: dict[str, list[str]]):
    base = prompt_tokens(model, "hi")  # chat-template overhead plus one short word
    ratios = {}
    for kind, texts in samples.items():
        chars = toks = 0
        for t in texts:
            chars += len(t)
            toks += prompt_tokens(model, t) - base
        ratios[kind] = chars / toks
    return ratios  # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}

def estimate(text, kind, ratios, overhead=10):
    return int(len(text) / ratios[kind]) + overhead

Gunakan 20 atau lebih sampel sebenar bagi setiap jenis kandungan (prompt sebenar anda, bukan lorem ipsum). Permintaan asas satu perkataan membuang overhed tetap templat chat, yang ditambah semula oleh estimate sebagai overhead; tetapkannya kepada asas yang anda ukur. Buat kalibrasi pada model termurah BroadNet hanya jika itulah model yang akan anda panggil: nisbah Gemma 4 VL 26B tidak boleh dipindahkan kepada DeepSeek V4.1 Flash. Imej juga dibilkan sebagai token input, dan imej yang lebih besar menggunakan lebih banyak, jadi kalibrasikan imej secara berasingan mengikut resolusi.

Apakah margin yang patut digunakan untuk max_tokens dan konteks?

Tetingkap merangkumi prompt dan output. Pada model penaakulan, output termasuk proses berfikir yang tersembunyi, dilaporkan sebagai token penaakulan. Bajetkan seperti ini:

  1. Anggaran prompt = kiraan terkalibrasi × 1.15 (margin keselamatan 15 peratus).
  2. Bajet jawapan = jawapan terpanjang yang anda terima.
  3. Bajet penaakulan = untuk model yang berfikir, sekurang-kurangnya 1,000 token; dokumentasi BroadNet mengesyorkan sekurang-kurangnya 1,000 atau reasoning_effort: "low", kerana had yang kecil boleh memulangkan jawapan kosong.
  4. max_tokens = bajet jawapan + bajet penaakulan.
  5. Semak: anggaran prompt + max_tokens ≤ tetingkap konteks. Jika tidak, potong prompt, bukan jawapan.

Tetingkap konteks di BroadNet Inference, daripada fail harga yang diterbitkan:

Model Tetingkap konteks Siling prompt praktikal dengan output 16K dan margin 15%
DeepSeek V4.1 Flash 1,048,576 kira-kira 897,000
GLM 5.3 1,048,576 kira-kira 897,000
Qwen3.8 27B 262,144 kira-kira 213,000
Gemma 4 VL 26B 32,768 kira-kira 14,000

Lajur siling ialah (tetingkap − 16,384) ÷ 1.15, dibundarkan ke bawah. Gantikan 16,384 dengan max_tokens anda sendiri.

Apakah kesilapan biasa dalam anggaran token?

  • Mengira perkataan dan bukan token. Peraturan 0.75 perkataan setiap token adalah untuk bahasa Inggeris. Sampel Arab kami yang 29 perkataan ialah 46 hingga 102 token bergantung pada tokenizer.
  • Terlupa tools dan system prompt. Skema tool ialah JSON, yang padat dengan token. Kira ia sebagai sebahagian daripada prompt.
  • Menganggap pemotongan senyap. Sesetengah alat membuang mesej lama tanpa memberitahu anda. BroadNet menyatakan ia tidak memangkas konteks anda, jadi semak saiznya sebelum menghantar dan bukannya bergantung pada pelayan untuk memotongnya. Kalkulator tetingkap konteks membuat semakan ini untuk anda.
  • Mengabaikan pertambahan sejarah. Dalam chat atau gelung ejen, prompt bertambah setiap giliran. Semak semula bajet pada setiap panggilan, bukan sekali bagi setiap sesi. Sejarah yang stabil juga lebih mudah dicache; lihat struktur prompt untuk cache.

Jika anda bekerja dalam bahasa Arab, tokenizer ialah satu lagi sebab untuk menguji model pada teks anda sendiri; memilih LLM untuk bahasa Arab merangkumi selebihnya. Untuk menukar kiraan token kepada bil bulanan, lihat cara menganggar kos API LLM sebelum pelancaran.

Di manakah BroadNet Inference sesuai

BroadNet Inference memulangkan prompt_tokens, completion_tokens dan, apabila model melaporkannya, kiraan token cache dan penaakulan dalam setiap respons, iaitu semua yang anda perlukan untuk kalibrasi. Ia tidak menerbitkan endpoint pengiraan atau tokenizer bagi setiap model, jadi kiraan sebelum menghantar ialah anggaran. Kerja konteks panjang pada model 1M token dibincangkan dalam panduan tetingkap konteks, dan harga setiap 1M token ada di halaman harga.

Soalan lazim

Berapakah bilangan token bagi satu perkataan?

Dalam set data tokenizer BroadRouter, yang menggabungkan lima tokenizer (tokenizer empat model chat BroadNet dan o200k_base OpenAI; jadual contoh dalam artikel ini menambah cl100k_base), 1,000 perkataan Inggeris ialah kira-kira 1,290 token, atau kira-kira 1.29 token setiap perkataan. Panduan umum, 0.75 perkataan setiap token, hampir tepat untuk prosa Inggeris. Bahasa Arab, tulisan bukan Latin lain dan kod menggunakan lebih banyak token setiap perkataan. Ukur teks anda sendiri dengan model yang anda panggil.

Bolehkah saya menggunakan tiktoken untuk mengira token DeepSeek, Qwen atau Gemma?

Hanya sebagai anggaran kasar. tiktoken melaksanakan pengekodan OpenAI. Keluarga model lain mempunyai tokenizer sendiri, selalunya di Hugging Face, dan kiraannya berbeza. Buat kalibrasi berdasarkan medan usage.

Adakah alat percuma untuk mengira token DeepSeek, Qwen, GLM atau Gemma?

Ya. Pengira token percuma BroadRouter menjalankan tokenizer yang diterbitkan bagi keluarga model ini dalam pelayar anda, jadi teks tidak meninggalkan mesin anda. Anggap kiraan itu sebagai anggaran apa yang akan dilaporkan oleh API, kerana templat chat menambah beberapa token.

Apakah yang berlaku jika prompt saya lebih panjang daripada tetingkap konteks?

Kebanyakan API memulangkan ralat. Sesetengah alat memangkas mesej lama secara senyap. BroadNet tidak memangkas konteks anda, jadi semak prompt ditambah max_tokens berbanding tetingkap sebelum menghantar.

Berapa banyak margin yang patut saya tinggalkan untuk max_tokens?

Anggarkan jawapan terpanjang yang anda jangka, tambah bajet penaakulan untuk model yang berfikir, dan biarkan 10 hingga 20 peratus tetingkap kosong untuk ralat anggaran.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity