BroadRouter

Paano bilangin ang token bago magpadala ng LLM request

Ng BroadNet Inference team · 5 minutong basa · Nailathala · Na-update

Bilangin ang token gamit ang tokenizer ng model na tinatawag mo kung public ito; kung hindi, mag-calibrate ng ratio ng character kada token mula sa usage field ng totoong request, kada wika at uri ng content. Magdagdag ng 10 hanggang 20 porsiyentong margin, saka tiyaking kasya sa context window ang prompt token kasama ang max_tokens, na may puwang para sa reasoning token ng mga thinking model.

Tatlo ang dahilan kung bakit kailangan mo ng bilang ng token bago ka magpadala ng request: para manatili sa loob ng context window, para pumili ng makatwirang max_tokens, at para tantiyahin ang gastos. Sa sariling tokenizer lang ng model nanggagaling ang eksaktong bilang. Sa calibration naman nanggagaling ang magagandang tantiya. Ipinapakita ng post na ito ang dalawa, gamit ang totoong sukat.

Bakit magkakaiba ang bilang ng token sa bawat model?

Hinahati ng tokenizer ang text sa mga piraso mula sa isang nakapirming vocabulary. Kanya-kanyang tokenizer ang tine-train ng bawat model family. Ang mas malaking vocabulary, o isang tine-train sa mas maraming text ng isang wika, ay gumagawa ng mas kaunting token para sa wikang iyon. Kaya iba-iba ang sagot sa “ilang token ang prompt na ito” para sa bawat model.

Sinukat namin ang iisang maikling message sa customer service, isinalin sa apat na wika, kasama ang isang maliit na Python function at isang invoice na JSON object. Galing sa tiktoken ang bilang ng OpenAI (cl100k_base, panahon ng GPT-4, at o200k_base, panahon ng GPT-4o). Galing naman ang bilang ng mga open model sa mga tokenizer file na inilalathala ng bawat family sa Hugging Face, binilang nang walang chat template, noong Nobyembre 14, 2026.

Text (parehong kahulugan) Character cl100k_base o200k_base DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4
English, 31 salita 173 37 37 37 38 39 39
Spanish 160 47 40 50 45 43 42
Arabic 142 102 46 55 58 48 49
Chinese 54 51 37 34 35 36 38
Python function 94 33 33 35 33 35 38
Invoice na JSON 140 59 60 63 60 72 72

Isang sample lang kada row, kaya ituring ang mga numero bilang halimbawa, hindi benchmark. Pero may tatlong aral na totoo pa rin. Mahalaga ang henerasyon ng tokenizer: lumiit nang higit kalahati ang Arabic na text mula cl100k_base papuntang o200k_base. Magkakaiba rin ang mga open model: mula 48 hanggang 58 token ang parehong Arabic na text, at mula 60 hanggang 72 ang JSON. At siksik sa token ang structured content kahit saan: mga 2 character kada token ang JSON sa bawat tokenizer.

Puwede mo itong ulitin sa sarili mong text gamit ang libreng token counter, o ang mga counter kada family para sa DeepSeek, Qwen at GPT. Para makita kung magkano ang natitipid ng isang edit sa prompt, ihambing ang dalawang bersyon sa prompt token diff. Kung bakit mas maraming token ang Arabic, sinukat sa mas mahahabang text, ay nasa token kada salita sa Arabic vs English.

Paano bilangin nang eksakto ang token?

Kung public ang tokenizer ng model, i-load ito at magbilang nang lokal. Para sa mga model ng OpenAI:

import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))

Para sa mga open-weight na family, kadalasang kasama ng model sa Hugging Face ang tokenizer at naglo-load ito gamit ang AutoTokenizer.from_pretrained(...). Dalawang paalala: nagdadagdag ng token ang chat template para sa mga role at separator, at puwedeng iba ang naka-deploy na bersyon ng API provider sa mga public na file. Walang dokumentadong endpoint sa pagbilang ng token o tokenizer kada model ang API reference ng BroadNet, kaya malapit na tantiya ang ibinibigay ng public na tokenizer at ang eksaktong numero ay ang usage.prompt_tokens pagkatapos ng call.

Paano tantiyahin ang token kapag hindi public ang tokenizer?

Mag-calibrate nang isang beses kada model, saka magtantiya nang lokal:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def prompt_tokens(model, text):
    r = client.chat.completions.create(
        model=model, max_tokens=1000,  # room for reasoning on thinking models
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

def measure(model, samples: dict[str, list[str]]):
    base = prompt_tokens(model, "hi")  # chat-template overhead plus one short word
    ratios = {}
    for kind, texts in samples.items():
        chars = toks = 0
        for t in texts:
            chars += len(t)
            toks += prompt_tokens(model, t) - base
        ratios[kind] = chars / toks
    return ratios  # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}

def estimate(text, kind, ratios, overhead=10):
    return int(len(text) / ratios[kind]) + overhead

Gumamit ng 20 o higit pang totoong sample kada uri ng content (ang mga totoong prompt mo, hindi lorem ipsum). Inaalis ng baseline request na may iisang salita ang nakapirming overhead ng chat template, na ibinabalik ng estimate bilang overhead; itakda ito sa nasukat mong baseline. Mag-calibrate sa pinakamurang model ng BroadNet kung iyon lang talaga ang tatawagin mo: hindi naililipat ang mga ratio ng Gemma 4 VL 26B sa DeepSeek V4.1 Flash. Sinisingil din bilang input token ang mga larawan, at mas marami ang nagagamit ng mas malalaking larawan, kaya i-calibrate ang mga ito nang hiwalay ayon sa resolution.

Anong margin ang dapat gamitin para sa max_tokens at context?

Sakop ng window ang prompt at output. Sa mga reasoning model, kasama sa output ang nakatagong pag-iisip, na iniuulat bilang reasoning token. Ganito mag-budget:

  1. Tantiya ng prompt = calibrated na bilang × 1.15 (safety margin na 15 porsiyento).
  2. Budget ng sagot = ang pinakamahabang sagot na tatanggapin mo.
  3. Reasoning budget = para sa mga thinking model, hindi bababa sa 1,000 token; inirerekomenda ng docs ng BroadNet ang hindi bababa sa 1,000 o reasoning_effort: "low", dahil puwedeng magbalik ng walang laman na sagot ang maliit na limit.
  4. max_tokens = budget ng sagot + reasoning budget.
  5. I-check: tantiya ng prompt + max_tokens ≤ context window. Kung hindi, ang prompt ang bawasan, hindi ang sagot.

Mga context window sa BroadNet Inference, mula sa published na price file:

Model Context window Praktikal na kisame ng prompt na may 16K output at 15% margin
DeepSeek V4.1 Flash 1,048,576 mga 897,000
GLM 5.3 1,048,576 mga 897,000
Qwen3.8 27B 262,144 mga 213,000
Gemma 4 VL 26B 32,768 mga 14,000

Ang column ng kisame ay (window − 16,384) ÷ 1.15, ni-round down. Palitan ang 16,384 ng sarili mong max_tokens.

Ano ang karaniwang nagkakamali sa tantiya ng token?

  • Pagbilang ng salita sa halip na token. Para sa English ang patakarang 0.75 salita kada token. 46 hanggang 102 token ang Arabic sample namin na 29 salita, depende sa tokenizer.
  • Pagkalimot sa tools at system prompt. JSON ang mga tool schema, na siksik sa token. Bilangin ang mga ito bilang bahagi ng prompt.
  • Pag-aakalang may tahimik na truncation. May mga tool na nag-aalis ng lumang message nang hindi sinasabi sa iyo. Sabi ng BroadNet, hindi nito binabawasan ang context mo, kaya i-check ang laki bago magpadala sa halip na umasa sa server na putulin ito. Ginagawa ng context window calculator ang check para sa iyo.
  • Hindi pagpansin sa paglaki ng history. Sa chat o agent loop, lumalaki ang prompt bawat turn. I-check ulit ang budget sa bawat call, hindi isang beses lang kada session. Mas maganda ring mag-cache ang stable na history; tingnan ang istruktura ng prompt para sa caching.

Kung Arabic ang ginagamit mo, isa pang dahilan ang tokenizer para i-test ang mga model sa sarili mong text; nasa pagpili ng LLM para sa Arabic ang iba pa. Para gawing buwanang bill ang bilang ng token, tingnan ang paano tantiyahin ang gastos sa LLM API bago mag-launch.

Saan bagay ang BroadNet Inference

Ibinabalik ng BroadNet Inference ang prompt_tokens, completion_tokens at, kapag iniuulat ng model, ang bilang ng cached at reasoning token sa bawat response, na siyang kailangan mo lang para mag-calibrate. Hindi ito naglalathala ng counting endpoint o tokenizer kada model, kaya tantiya ang bilang bago magpadala. Nasa gabay sa context window ang long-context na trabaho sa mga 1M-token na model, at nasa pricing page ang presyo kada 1M token.

Mga tanong

Ilang token ang isang salita?

Sa tokenizer dataset ng BroadRouter, na pinagsasama ang limang tokenizer (ng apat na chat model ng BroadNet at ang o200k_base ng OpenAI; nagdadagdag ng cl100k_base ang example table ng post), mga 1,290 token ang 1,000 English na salita, o mga 1.29 token kada salita. Malapit para sa English na prose ang karaniwang rule of thumb na 0.75 salita kada token. Mas maraming token kada salita ang Arabic, ibang non-Latin na script at code. Sukatin ang sarili mong text gamit ang model na tinatawag mo.

Puwede ko bang gamitin ang tiktoken para bilangin ang token ng DeepSeek, Qwen o Gemma?

Bilang magaspang na tantiya lang. Mga encoding ng OpenAI ang ipinapatupad ng tiktoken. May sariling tokenizer ang ibang model family, madalas nasa Hugging Face, at magkakaiba ang bilang. Mag-calibrate gamit ang usage field.

May libreng tool ba para bilangin ang token ng DeepSeek, Qwen, GLM o Gemma?

Oo. Pinapatakbo ng libreng token counter ng BroadRouter ang mga published na tokenizer ng mga model family na ito sa browser mo, kaya hindi umaalis sa machine mo ang text. Ituring na tantiya ang bilang ng iuulat ng API, dahil nagdadagdag ng ilang token ang chat template.

Ano ang mangyayari kung mas mahaba ang prompt ko kaysa sa context window?

Error ang ibinabalik ng karamihan ng API. May mga tool na tahimik na nagbabawas ng lumang message. Hindi binabawasan ng BroadNet ang context mo, kaya i-check ang prompt kasama ang max_tokens laban sa window bago magpadala.

Gaano kalaking margin ang dapat kong iwan para sa max_tokens?

Tantiyahin ang pinakamahabang sagot na inaasahan mo, idagdag ang reasoning budget para sa mga thinking model, at iwanang bakante ang 10 hanggang 20 porsiyento ng window para sa error sa tantiya.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity