अनुरोध भेजने से पहले आपको टोकन की गिनती तीन वजहों से चाहिए: कॉन्टेक्स्ट विंडो के अंदर रहने के लिए, सही max_tokens चुनने के लिए, और लागत का अनुमान लगाने के लिए। सटीक गिनती सिर्फ़ मॉडल के अपने टोकनाइज़र से मिलती है। अच्छे अनुमान कैलिब्रेशन से मिलते हैं। यह पोस्ट असली मापों के साथ दोनों तरीक़े दिखाती है।
अलग-अलग मॉडल में टोकन की गिनती अलग क्यों होती है?
टोकनाइज़र टेक्स्ट को एक तय शब्दावली (vocabulary) के टुकड़ों में बाँटता है। हर मॉडल परिवार अपना टोकनाइज़र ट्रेन करता है। बड़ी शब्दावली, या किसी भाषा पर ज़्यादा ट्रेन की गई शब्दावली, उस भाषा के लिए कम टोकन बनाती है। इसलिए “इस प्रॉम्प्ट में कितने टोकन हैं” का जवाब हर मॉडल के लिए अलग है।
हमने एक ही छोटा कस्टमर-सर्विस मैसेज मापा, चार भाषाओं में अनुवाद करके, साथ में एक छोटा Python फ़ंक्शन और एक इनवॉइस JSON ऑब्जेक्ट। OpenAI की गिनती tiktoken से आई है (cl100k_base, GPT-4 दौर का, और o200k_base, GPT-4o दौर का)। ओपन मॉडल की गिनती उन टोकनाइज़र फ़ाइलों से आई है जो हर परिवार Hugging Face पर प्रकाशित करता है, चैट टेम्पलेट के बिना, 14 नवंबर 2026 को गिनी गई।
| टेक्स्ट (एक ही अर्थ) | कैरेक्टर | cl100k_base | o200k_base | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 |
|---|---|---|---|---|---|---|---|
| अंग्रेज़ी, 31 शब्द | 173 | 37 | 37 | 37 | 38 | 39 | 39 |
| स्पैनिश | 160 | 47 | 40 | 50 | 45 | 43 | 42 |
| अरबी | 142 | 102 | 46 | 55 | 58 | 48 | 49 |
| चीनी | 54 | 51 | 37 | 34 | 35 | 36 | 38 |
| Python फ़ंक्शन | 94 | 33 | 33 | 35 | 33 | 35 | 38 |
| इनवॉइस JSON | 140 | 59 | 60 | 63 | 60 | 72 | 72 |
हर पंक्ति में एक ही सैंपल है, इसलिए इन संख्याओं को उदाहरण मानें, बेंचमार्क नहीं। फिर भी तीन सबक़ टिकते हैं। टोकनाइज़र की पीढ़ी मायने रखती है: अरबी टेक्स्ट cl100k_base से o200k_base पर आधे से भी कम रह गया। ओपन मॉडल भी आपस में अलग हैं: वही अरबी टेक्स्ट 48 से 58 टोकन तक रहा, और JSON 60 से 72 तक। और स्ट्रक्चर्ड कंटेंट हर जगह टोकन-घना है: JSON हर टोकनाइज़र पर लगभग 2 कैरेक्टर प्रति टोकन रहा।
आप यही टेस्ट अपने टेक्स्ट पर मुफ़्त टोकन काउंटर से दोहरा सकते हैं, या हर परिवार के अलग काउंटर से: DeepSeek, Qwen और GPT। प्रॉम्प्ट में किसी बदलाव से कितनी बचत होती है, यह देखने के लिए दोनों वर्ज़न प्रॉम्प्ट टोकन डिफ़ में मिलाएँ। अरबी ख़ास तौर पर ज़्यादा टोकन क्यों लेती है, लंबे टेक्स्ट पर मापा गया, यह अरबी बनाम अंग्रेज़ी में प्रति शब्द टोकन में है।
टोकन सटीक रूप से कैसे गिनें?
अगर मॉडल का टोकनाइज़र सार्वजनिक है, तो उसे लोड करें और लोकल गिनती करें। OpenAI मॉडल के लिए:
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))
ओपन-वेट परिवारों में टोकनाइज़र आम तौर पर Hugging Face पर मॉडल के साथ आता है और AutoTokenizer.from_pretrained(...) से लोड होता है। दो सावधानियाँ: चैट टेम्पलेट रोल और सेपरेटर के लिए टोकन जोड़ता है, और API प्रोवाइडर का डिप्लॉय किया हुआ वर्ज़न सार्वजनिक फ़ाइलों से अलग हो सकता है। BroadNet का API रेफ़रंस न तो टोकन गिनने का कोई एंडपॉइंट बताता है, न हर मॉडल का टोकनाइज़र, इसलिए सार्वजनिक टोकनाइज़र क़रीबी अनुमान देता है और सटीक संख्या कॉल के बाद usage.prompt_tokens में मिलती है।
टोकनाइज़र सार्वजनिक न हो तो टोकन का अनुमान कैसे लगाएँ?
हर मॉडल के लिए एक बार कैलिब्रेट करें, फिर लोकल अनुमान लगाएँ:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def prompt_tokens(model, text):
r = client.chat.completions.create(
model=model, max_tokens=1000, # room for reasoning on thinking models
messages=[{"role": "user", "content": text}],
)
return r.usage.prompt_tokens
def measure(model, samples: dict[str, list[str]]):
base = prompt_tokens(model, "hi") # chat-template overhead plus one short word
ratios = {}
for kind, texts in samples.items():
chars = toks = 0
for t in texts:
chars += len(t)
toks += prompt_tokens(model, t) - base
ratios[kind] = chars / toks
return ratios # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}
def estimate(text, kind, ratios, overhead=10):
return int(len(text) / ratios[kind]) + overhead
हर कंटेंट टाइप के लिए 20 या ज़्यादा असली सैंपल लें (आपके असली प्रॉम्प्ट, lorem ipsum नहीं)। एक शब्द वाला बेसलाइन अनुरोध चैट टेम्पलेट का तय ओवरहेड हटा देता है, जिसे estimate फ़ंक्शन overhead के रूप में वापस जोड़ता है; इसे अपने मापे हुए बेसलाइन पर सेट करें। BroadNet के सबसे सस्ते मॉडल पर कैलिब्रेट तभी करें जब आप उसी को कॉल करने वाले हों: Gemma 4 VL 26B के अनुपात DeepSeek V4.1 Flash पर लागू नहीं होते। इमेज भी इनपुट टोकन के रूप में बिल होती हैं, और बड़ी इमेज ज़्यादा टोकन लेती हैं, इसलिए उन्हें रिज़ॉल्यूशन के हिसाब से अलग कैलिब्रेट करें।
max_tokens और कॉन्टेक्स्ट के लिए कितना मार्जिन रखें?
विंडो में प्रॉम्प्ट और आउटपुट दोनों आते हैं। रीज़निंग मॉडल पर आउटपुट में छिपी हुई थिंकिंग भी शामिल है, जो रीज़निंग टोकन के रूप में रिपोर्ट होती है। बजट ऐसे बनाएँ:
- प्रॉम्प्ट अनुमान = कैलिब्रेट की गई गिनती × 1.15 (15 प्रतिशत सुरक्षा मार्जिन)।
- जवाब का बजट = सबसे लंबा जवाब जो आप स्वीकार करेंगे।
- रीज़निंग बजट = थिंकिंग मॉडल के लिए कम से कम 1,000 टोकन; BroadNet की डॉक्स कम से कम 1,000 या
reasoning_effort: "low"की सलाह देती हैं, क्योंकि छोटी सीमा पर जवाब ख़ाली आ सकता है। - max_tokens = जवाब का बजट + रीज़निंग बजट।
- जाँच: प्रॉम्प्ट अनुमान + max_tokens ≤ कॉन्टेक्स्ट विंडो। अगर नहीं, तो प्रॉम्प्ट काटें, जवाब नहीं।
BroadNet Inference पर कॉन्टेक्स्ट विंडो, प्रकाशित प्राइस फ़ाइल से:
| मॉडल | कॉन्टेक्स्ट विंडो | 16K आउटपुट और 15% मार्जिन के साथ व्यावहारिक प्रॉम्प्ट सीमा |
|---|---|---|
| DeepSeek V4.1 Flash | 1,048,576 | लगभग 897,000 |
| GLM 5.3 | 1,048,576 | लगभग 897,000 |
| Qwen3.8 27B | 262,144 | लगभग 213,000 |
| Gemma 4 VL 26B | 32,768 | लगभग 14,000 |
सीमा वाला कॉलम (विंडो − 16,384) ÷ 1.15 है, नीचे की ओर पूर्णांकित। 16,384 की जगह अपना max_tokens रखें।
टोकन के अनुमान में क्या गड़बड़ होती है?
- टोकन की जगह शब्द गिनना। 0.75-शब्द-प्रति-टोकन का नियम अंग्रेज़ी के लिए है। हमारा 29 शब्दों का अरबी सैंपल टोकनाइज़र के हिसाब से 46 से 102 टोकन का था।
- टूल और सिस्टम प्रॉम्प्ट भूल जाना। टूल स्कीमा JSON होते हैं, जो टोकन-घने हैं। उन्हें प्रॉम्प्ट का हिस्सा मानकर गिनें।
- चुपचाप ट्रंकेशन मान लेना। कुछ टूल बिना बताए पुराने मैसेज हटा देते हैं। BroadNet कहता है कि वह आपका कॉन्टेक्स्ट नहीं काटता, इसलिए सर्वर के काटने पर भरोसा करने की जगह भेजने से पहले साइज़ जाँचें। कॉन्टेक्स्ट विंडो कैलकुलेटर यह जाँच आपके लिए करता है।
- हिस्ट्री का बढ़ना अनदेखा करना। चैट या एजेंट लूप में प्रॉम्प्ट हर टर्न में बढ़ता है। बजट हर कॉल पर दोबारा जाँचें, हर सेशन में एक बार नहीं। स्थिर हिस्ट्री बेहतर कैश भी होती है; देखें कैशिंग के लिए प्रॉम्प्ट का ढाँचा।
अगर आप अरबी में काम करते हैं, तो टोकनाइज़र मॉडल को अपने टेक्स्ट पर टेस्ट करने की एक और वजह है; बाक़ी बातें अरबी के लिए LLM चुनना में हैं। टोकन की गिनती को मासिक बिल में बदलने के लिए देखें लॉन्च से पहले LLM API लागत का अनुमान कैसे लगाएँ।
BroadNet Inference कहाँ फ़िट होता है
BroadNet Inference हर जवाब में prompt_tokens, completion_tokens और, जब मॉडल रिपोर्ट करे, कैश्ड और रीज़निंग टोकन की गिनती लौटाता है, और कैलिब्रेशन के लिए बस इतना ही चाहिए। यह न तो गिनती का कोई एंडपॉइंट प्रकाशित करता है, न हर मॉडल का टोकनाइज़र, इसलिए भेजने से पहले की गिनती अनुमान ही है। 1M-टोकन मॉडल पर लंबे कॉन्टेक्स्ट वाला काम कॉन्टेक्स्ट विंडो गाइड में है, और प्रति 1M टोकन कीमतें प्राइसिंग पेज पर हैं।
