BroadRouter

LLM अनुरोध भेजने से पहले टोकन कैसे गिनें

BroadNet Inference टीम · 5 मिनट में पढ़ें · प्रकाशित · अपडेट किया गया

जिस मॉडल को आप कॉल करते हैं, उसका टोकनाइज़र सार्वजनिक हो तो उसी से टोकन गिनें; नहीं तो असली अनुरोधों के usage फ़ील्ड से हर भाषा और कंटेंट टाइप के लिए कैरेक्टर-प्रति-टोकन अनुपात कैलिब्रेट करें। 10 से 20 प्रतिशत मार्जिन जोड़ें, फिर जाँचें कि प्रॉम्प्ट टोकन और max_tokens मिलकर कॉन्टेक्स्ट विंडो में आते हैं, और थिंकिंग मॉडल पर रीज़निंग टोकन के लिए जगह छोड़ें।

अनुरोध भेजने से पहले आपको टोकन की गिनती तीन वजहों से चाहिए: कॉन्टेक्स्ट विंडो के अंदर रहने के लिए, सही max_tokens चुनने के लिए, और लागत का अनुमान लगाने के लिए। सटीक गिनती सिर्फ़ मॉडल के अपने टोकनाइज़र से मिलती है। अच्छे अनुमान कैलिब्रेशन से मिलते हैं। यह पोस्ट असली मापों के साथ दोनों तरीक़े दिखाती है।

अलग-अलग मॉडल में टोकन की गिनती अलग क्यों होती है?

टोकनाइज़र टेक्स्ट को एक तय शब्दावली (vocabulary) के टुकड़ों में बाँटता है। हर मॉडल परिवार अपना टोकनाइज़र ट्रेन करता है। बड़ी शब्दावली, या किसी भाषा पर ज़्यादा ट्रेन की गई शब्दावली, उस भाषा के लिए कम टोकन बनाती है। इसलिए “इस प्रॉम्प्ट में कितने टोकन हैं” का जवाब हर मॉडल के लिए अलग है।

हमने एक ही छोटा कस्टमर-सर्विस मैसेज मापा, चार भाषाओं में अनुवाद करके, साथ में एक छोटा Python फ़ंक्शन और एक इनवॉइस JSON ऑब्जेक्ट। OpenAI की गिनती tiktoken से आई है (cl100k_base, GPT-4 दौर का, और o200k_base, GPT-4o दौर का)। ओपन मॉडल की गिनती उन टोकनाइज़र फ़ाइलों से आई है जो हर परिवार Hugging Face पर प्रकाशित करता है, चैट टेम्पलेट के बिना, 14 नवंबर 2026 को गिनी गई।

टेक्स्ट (एक ही अर्थ) कैरेक्टर cl100k_base o200k_base DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4
अंग्रेज़ी, 31 शब्द 173 37 37 37 38 39 39
स्पैनिश 160 47 40 50 45 43 42
अरबी 142 102 46 55 58 48 49
चीनी 54 51 37 34 35 36 38
Python फ़ंक्शन 94 33 33 35 33 35 38
इनवॉइस JSON 140 59 60 63 60 72 72

हर पंक्ति में एक ही सैंपल है, इसलिए इन संख्याओं को उदाहरण मानें, बेंचमार्क नहीं। फिर भी तीन सबक़ टिकते हैं। टोकनाइज़र की पीढ़ी मायने रखती है: अरबी टेक्स्ट cl100k_base से o200k_base पर आधे से भी कम रह गया। ओपन मॉडल भी आपस में अलग हैं: वही अरबी टेक्स्ट 48 से 58 टोकन तक रहा, और JSON 60 से 72 तक। और स्ट्रक्चर्ड कंटेंट हर जगह टोकन-घना है: JSON हर टोकनाइज़र पर लगभग 2 कैरेक्टर प्रति टोकन रहा।

आप यही टेस्ट अपने टेक्स्ट पर मुफ़्त टोकन काउंटर से दोहरा सकते हैं, या हर परिवार के अलग काउंटर से: DeepSeek, Qwen और GPT। प्रॉम्प्ट में किसी बदलाव से कितनी बचत होती है, यह देखने के लिए दोनों वर्ज़न प्रॉम्प्ट टोकन डिफ़ में मिलाएँ। अरबी ख़ास तौर पर ज़्यादा टोकन क्यों लेती है, लंबे टेक्स्ट पर मापा गया, यह अरबी बनाम अंग्रेज़ी में प्रति शब्द टोकन में है।

टोकन सटीक रूप से कैसे गिनें?

अगर मॉडल का टोकनाइज़र सार्वजनिक है, तो उसे लोड करें और लोकल गिनती करें। OpenAI मॉडल के लिए:

import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))

ओपन-वेट परिवारों में टोकनाइज़र आम तौर पर Hugging Face पर मॉडल के साथ आता है और AutoTokenizer.from_pretrained(...) से लोड होता है। दो सावधानियाँ: चैट टेम्पलेट रोल और सेपरेटर के लिए टोकन जोड़ता है, और API प्रोवाइडर का डिप्लॉय किया हुआ वर्ज़न सार्वजनिक फ़ाइलों से अलग हो सकता है। BroadNet का API रेफ़रंस न तो टोकन गिनने का कोई एंडपॉइंट बताता है, न हर मॉडल का टोकनाइज़र, इसलिए सार्वजनिक टोकनाइज़र क़रीबी अनुमान देता है और सटीक संख्या कॉल के बाद usage.prompt_tokens में मिलती है।

टोकनाइज़र सार्वजनिक न हो तो टोकन का अनुमान कैसे लगाएँ?

हर मॉडल के लिए एक बार कैलिब्रेट करें, फिर लोकल अनुमान लगाएँ:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def prompt_tokens(model, text):
    r = client.chat.completions.create(
        model=model, max_tokens=1000,  # room for reasoning on thinking models
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

def measure(model, samples: dict[str, list[str]]):
    base = prompt_tokens(model, "hi")  # chat-template overhead plus one short word
    ratios = {}
    for kind, texts in samples.items():
        chars = toks = 0
        for t in texts:
            chars += len(t)
            toks += prompt_tokens(model, t) - base
        ratios[kind] = chars / toks
    return ratios  # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}

def estimate(text, kind, ratios, overhead=10):
    return int(len(text) / ratios[kind]) + overhead

हर कंटेंट टाइप के लिए 20 या ज़्यादा असली सैंपल लें (आपके असली प्रॉम्प्ट, lorem ipsum नहीं)। एक शब्द वाला बेसलाइन अनुरोध चैट टेम्पलेट का तय ओवरहेड हटा देता है, जिसे estimate फ़ंक्शन overhead के रूप में वापस जोड़ता है; इसे अपने मापे हुए बेसलाइन पर सेट करें। BroadNet के सबसे सस्ते मॉडल पर कैलिब्रेट तभी करें जब आप उसी को कॉल करने वाले हों: Gemma 4 VL 26B के अनुपात DeepSeek V4.1 Flash पर लागू नहीं होते। इमेज भी इनपुट टोकन के रूप में बिल होती हैं, और बड़ी इमेज ज़्यादा टोकन लेती हैं, इसलिए उन्हें रिज़ॉल्यूशन के हिसाब से अलग कैलिब्रेट करें।

max_tokens और कॉन्टेक्स्ट के लिए कितना मार्जिन रखें?

विंडो में प्रॉम्प्ट और आउटपुट दोनों आते हैं। रीज़निंग मॉडल पर आउटपुट में छिपी हुई थिंकिंग भी शामिल है, जो रीज़निंग टोकन के रूप में रिपोर्ट होती है। बजट ऐसे बनाएँ:

  1. प्रॉम्प्ट अनुमान = कैलिब्रेट की गई गिनती × 1.15 (15 प्रतिशत सुरक्षा मार्जिन)।
  2. जवाब का बजट = सबसे लंबा जवाब जो आप स्वीकार करेंगे।
  3. रीज़निंग बजट = थिंकिंग मॉडल के लिए कम से कम 1,000 टोकन; BroadNet की डॉक्स कम से कम 1,000 या reasoning_effort: "low" की सलाह देती हैं, क्योंकि छोटी सीमा पर जवाब ख़ाली आ सकता है।
  4. max_tokens = जवाब का बजट + रीज़निंग बजट।
  5. जाँच: प्रॉम्प्ट अनुमान + max_tokens ≤ कॉन्टेक्स्ट विंडो। अगर नहीं, तो प्रॉम्प्ट काटें, जवाब नहीं।

BroadNet Inference पर कॉन्टेक्स्ट विंडो, प्रकाशित प्राइस फ़ाइल से:

मॉडल कॉन्टेक्स्ट विंडो 16K आउटपुट और 15% मार्जिन के साथ व्यावहारिक प्रॉम्प्ट सीमा
DeepSeek V4.1 Flash 1,048,576 लगभग 897,000
GLM 5.3 1,048,576 लगभग 897,000
Qwen3.8 27B 262,144 लगभग 213,000
Gemma 4 VL 26B 32,768 लगभग 14,000

सीमा वाला कॉलम (विंडो − 16,384) ÷ 1.15 है, नीचे की ओर पूर्णांकित। 16,384 की जगह अपना max_tokens रखें।

टोकन के अनुमान में क्या गड़बड़ होती है?

  • टोकन की जगह शब्द गिनना। 0.75-शब्द-प्रति-टोकन का नियम अंग्रेज़ी के लिए है। हमारा 29 शब्दों का अरबी सैंपल टोकनाइज़र के हिसाब से 46 से 102 टोकन का था।
  • टूल और सिस्टम प्रॉम्प्ट भूल जाना। टूल स्कीमा JSON होते हैं, जो टोकन-घने हैं। उन्हें प्रॉम्प्ट का हिस्सा मानकर गिनें।
  • चुपचाप ट्रंकेशन मान लेना। कुछ टूल बिना बताए पुराने मैसेज हटा देते हैं। BroadNet कहता है कि वह आपका कॉन्टेक्स्ट नहीं काटता, इसलिए सर्वर के काटने पर भरोसा करने की जगह भेजने से पहले साइज़ जाँचें। कॉन्टेक्स्ट विंडो कैलकुलेटर यह जाँच आपके लिए करता है।
  • हिस्ट्री का बढ़ना अनदेखा करना। चैट या एजेंट लूप में प्रॉम्प्ट हर टर्न में बढ़ता है। बजट हर कॉल पर दोबारा जाँचें, हर सेशन में एक बार नहीं। स्थिर हिस्ट्री बेहतर कैश भी होती है; देखें कैशिंग के लिए प्रॉम्प्ट का ढाँचा।

अगर आप अरबी में काम करते हैं, तो टोकनाइज़र मॉडल को अपने टेक्स्ट पर टेस्ट करने की एक और वजह है; बाक़ी बातें अरबी के लिए LLM चुनना में हैं। टोकन की गिनती को मासिक बिल में बदलने के लिए देखें लॉन्च से पहले LLM API लागत का अनुमान कैसे लगाएँ।

BroadNet Inference कहाँ फ़िट होता है

BroadNet Inference हर जवाब में prompt_tokens, completion_tokens और, जब मॉडल रिपोर्ट करे, कैश्ड और रीज़निंग टोकन की गिनती लौटाता है, और कैलिब्रेशन के लिए बस इतना ही चाहिए। यह न तो गिनती का कोई एंडपॉइंट प्रकाशित करता है, न हर मॉडल का टोकनाइज़र, इसलिए भेजने से पहले की गिनती अनुमान ही है। 1M-टोकन मॉडल पर लंबे कॉन्टेक्स्ट वाला काम कॉन्टेक्स्ट विंडो गाइड में है, और प्रति 1M टोकन कीमतें प्राइसिंग पेज पर हैं।

अक्सर पूछे जाने वाले सवाल

एक शब्द में कितने टोकन होते हैं?

BroadRouter के टोकनाइज़र डेटासेट में, जो पाँच टोकनाइज़र (चारों BroadNet चैट मॉडल के और OpenAI का o200k_base; पोस्ट की उदाहरण तालिका cl100k_base भी जोड़ती है) को मिलाता है, 1,000 अंग्रेज़ी शब्द लगभग 1,290 टोकन हैं, यानी लगभग 1.29 टोकन प्रति शब्द। आम अनुमान, 0.75 शब्द प्रति टोकन, अंग्रेज़ी गद्य के लिए क़रीब बैठता है। अरबी, दूसरी ग़ैर-लैटिन लिपियाँ और कोड प्रति शब्द ज़्यादा टोकन लेते हैं। अपना टेक्स्ट उसी मॉडल से मापें जिसे आप कॉल करते हैं।

क्या DeepSeek, Qwen या Gemma के टोकन tiktoken से गिन सकते हैं?

सिर्फ़ मोटे अनुमान के लिए। tiktoken OpenAI की एन्कोडिंग लागू करता है। दूसरे मॉडल परिवार अपने टोकनाइज़र देते हैं, अक्सर Hugging Face पर, और गिनती अलग आती है। usage फ़ील्ड से कैलिब्रेट करें।

क्या DeepSeek, Qwen, GLM या Gemma के टोकन गिनने का कोई मुफ़्त टूल है?

हाँ। BroadRouter का मुफ़्त टोकन काउंटर इन मॉडल परिवारों के प्रकाशित टोकनाइज़र आपके ब्राउज़र में चलाता है, इसलिए टेक्स्ट आपकी मशीन से बाहर नहीं जाता। गिनती को API की रिपोर्ट का अनुमान मानें, क्योंकि चैट टेम्पलेट कुछ टोकन जोड़ते हैं।

अगर मेरा प्रॉम्प्ट कॉन्टेक्स्ट विंडो से लंबा हो तो क्या होगा?

ज़्यादातर API एरर लौटाते हैं। कुछ टूल पुराने मैसेज चुपचाप काट देते हैं। BroadNet आपका कॉन्टेक्स्ट नहीं काटता, इसलिए भेजने से पहले प्रॉम्प्ट और max_tokens को विंडो से मिलाकर जाँचें।

max_tokens के लिए कितना मार्जिन छोड़ूँ?

आप जितने लंबे जवाब की उम्मीद करते हैं उसका अनुमान लगाएँ, थिंकिंग मॉडल के लिए रीज़निंग बजट जोड़ें, और अनुमान की ग़लती के लिए विंडो का 10 से 20 प्रतिशत ख़ाली रखें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें